JP3758511B2 - 物体検出装置及び物体検出プログラム - Google Patents
物体検出装置及び物体検出プログラム Download PDFInfo
- Publication number
- JP3758511B2 JP3758511B2 JP2001054387A JP2001054387A JP3758511B2 JP 3758511 B2 JP3758511 B2 JP 3758511B2 JP 2001054387 A JP2001054387 A JP 2001054387A JP 2001054387 A JP2001054387 A JP 2001054387A JP 3758511 B2 JP3758511 B2 JP 3758511B2
- Authority
- JP
- Japan
- Prior art keywords
- intruding object
- image
- monitoring
- camera
- tracking
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Burglar Alarm Systems (AREA)
- Alarm Systems (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、監視システムに係り、特に監視対象領域全体を撮像する第１の侵入物体監視装置と、侵入物体の移動にしたがって撮像装置の視野方向を追従させて制御する第２の侵入物体監視装置とが、互いに独立に、侵入物体を自動的に監視するようにした侵入物体監視方法及び侵入物体監視システムに関する。
【０００２】
【従来の技術】
近年、侵入物体監視システムにおいて、カメラ等の撮像装置による画像入力手段を用いた侵入物体監視装置の中には、従来の監視員による有人監視の方法に頼らず、監視対象領域内の侵入物体を自動的に検出し、カメラの視野内に侵入物体が常に捉えられるように侵入物体の検出位置に基づいてカメラを乗せた雲台を制御して、カメラの視線方向等を変更して撮像し、所定の報知や警報、侵入物体映像記録などの処置が得られるようしたものがある。
【０００３】
このようなシステムとしては、例えば、図８に示すような２種類のカメラで構成した監視システムがある。図８はタンクヤードの監視を想定した侵入物体監視システムを説明するための図である。
図８において、第１のカメラ802は、監視対象領域804全体を所定の時刻毎に連続的に撮像する画像入力手段である。この第１のカメラ802を含む第１の監視手段は、異なる時刻に撮像した複数のフレーム画像から侵入物体801の検出情報を検出し、検出した侵入物体801に関する検出情報を第２のカメラ803に与える。第２のカメラ803は、第１のカメラ802から与えられる侵入物体801の検出情報に応じて、侵入物体801を自動的に追尾して所定の時刻毎に連続的に撮像する画像入力手段である。
【０００４】
また、第１の監視手段は、引き続き監視対象領域804全体の監視を行い、更に、検出された侵入物体802の追跡を行う。
ここで、本明細書の記載における“追跡”と“追尾”とは、以下のように定義される。
追跡：監視用カメラなどの撮像装置の視野内に写る対象物体の画面上での位置変化を計測する処理。例えば、監視対象領域全体について、対象物体の移動軌跡を求める等、対象物体が検出されてから検出されなくなるまでの時間的変化を監視し記録する。
追尾：撮像装置の雲台制御（カメラの光軸方向の制御）を伴う処理。例えば、移動する対象物体の現時刻の位置を常にカメラの光軸の中心に捉えるように、光軸方向を制御して、監視対象領域の１部である対象物体の領域部分を常に追いかける。
【０００５】
図８と図９とを用いて、第１のカメラ802によって検出された侵入物体801を、第２のカメラ803が追跡する方法を簡単に説明する。
図８において、第１のカメラ802により得られた異なる時刻に入力された複数フレームの画像は、画素毎に輝度値の差分を求められ、その差分の大きい領域が侵入物体801として検出される。更に、侵入物体801が検出された場合に、第１のカメラ802側から、侵入物体の検出位置に基いて第２のカメラ803を乗せる雲台を制御する。これによって、第２のカメラ803の視野805内に常に侵入物体801を捉えられるようにすることができる。
【０００６】
図９は、第１のカメラ802による侵入物体検出処理方法の原理を説明する図である。この方法は、フレーム間差分法などと呼ばれ、従来から広く用いられている。
図９において、減算器909は、時刻ｔ0-1に取得した入力画像901と時刻ｔ0に取得した入力画像902とについて画素毎の輝度値の差分を計算し、入力画像901と入力画像902との差分画像904を出力する。同様に減算器910も、時刻ｔ0に取得した入力画像902と時刻ｔ0+1に取得した入力画像903との画素毎の輝度値の差分を計算し、入力画像902と入力画像903との差分画像905を出力する。
次に、二値化器911は、差分画像904の画素毎の輝度値が所定のしきい値Th未満の輝度値を“0”、しきい値Th以上の画素の輝度値を、例えば“255”（１画素の輝度値を８ビットで計算）として二値化画像906を得る。二値化器912もまた同様の処理を行い、差分画像905から二値化画像907を得る。
【０００７】
次に論理積器913は、二値化画像906と二値化画像907との画素毎の輝度値の論理積を計算し論理積画像908を出力する。これによって入力画像901，902，903に写った人型の物体914，915，916は、減算器909または910によって差分が生じた領域917または918として算出される。そして、二値化器911または912によって輝度値“255”のかたまりの画像919または920として抽出され、更に、論理積器913によって画像919と920を構成する画素の中で、両画像共に輝度値“255”を持つ画素のかたまり画像921が検出される。即ち、画素921が侵入物体として検出される。
なお、監視領域内の侵入物体を検出する方法であれば前記フレーム間差分法以外の方法も適用できる。
【０００８】
以上のように第１のカメラ802によって侵入物体が検出された場合には、第１のカメラ802によって検出された侵入物体801の大きさと検出位置の情報に基いて、第１のカメラ802は、制御信号を第２のカメラ803に与える。これによって、第２のカメラ803の監視視野範囲805の方向（雲台の方向）が制御される。これによって、第２のカメラ803は侵入物体801を捕捉することができる。
【０００９】
第２のカメラ803の雲台の制御量を求める方法を図１０によって説明する。図１０は、第１のカメラ1002の視野範囲1004で検出された侵入物体1001を第２のカメラ1003で追尾する方法を説明するための図である。図１０では、簡略化のため第１のカメラ1002と第２のカメラ1003を同じ位置に設置し、第１のカメラ1002の視野の中心（光軸）方向と第２のカメラ1003の基準視野方向（雲台制御角をパン 0 ゜、チルト 0 ゜）を一致させ、ｘ軸の方向だけに着目して表示している。
【００１０】
図１０において、2Wは第１のカメラ1002の視野（監視対象領域）1004全体についての入力画像の横（ｘ軸）方向の画素数（単位：pix）、Δxは検出された侵入物体の第１のカメラ1002の視野中心からの横方向の変位（単位：pix）、θwは第１のカメラ1002の半監視角度（単位：゜）、θxは第２のカメラ1003の雲台のパン制御角度（単位：゜）を表す。ここで、第１のカメラ1002の半監視角度θwは、第１のカメラ1002の撮像素子の横方向の大きさh（単位：mm）と、第１のカメラ1002の焦点距離f（単位：mm）とによって、
【数１】
と表すことができる。
【００１１】
また、この監視条件において、入力画像の横方向の画素数2W、侵入物体1001の検出位置の第１のカメラ1002の視野中心からの横方向の変位Δxと、第１のカメラ1002の半監視角度θwと、第２のカメラ1003の雲台のパン制御角度θxとには、
【数２】
の関係がある。
【００１２】
即ち、第２のカメラ1003の雲台のパン制御角度θxは、
【数３】
となる。
【００１３】
例えば、半監視角度θwを30 ゜、第１のカメラ1002の入力画像の横方向の画素数2Wを320 pix、検出された侵入物体の第１のカメラ1002の視野中心からの変位Δxを40とした場合、第２のカメラ1003の雲台のパン制御角度は8.2 ゜となる。
【００１４】
以上のように、第１のカメラ1002によって異なる時刻に入力した複数フレームの画像を比較して画素毎に輝度値の差分を求め、その差分の大きい領域を侵入物体1001として検出した場合に、その侵入物体1001の大きさと検出位置に基いて第１のカメラ1002から送られる制御信号によって、第２のカメラ1003の雲台が制御される。これによって、第２のカメラ1003の視野範囲1005内に常に侵入物体1001を捕捉できるため、移動する侵入物体を第２のカメラ1003が常に自動的に追尾することができる。
上記２つのカメラ構成による監視装置としては、例えば、特開平５−３３４５７２号公報及び特開平６−１５３０５１号公報がある。
【００１５】
【発明が解決しようとする課題】
前述の従来技術には、複数の侵入物体を追尾するために複数の第２のカメラを制御する構成とした場合に、侵入物体の数に比例して、第１のカメラが複数の第２のカメラを制御するため、第１のカメラの処理量が増加する欠点があった。
更に、第１のカメラで侵入物体が一時的に検出できなくなった場合には、第２のカメラがその侵入物体を捉えられる位置にあっても、継続して追尾を行なうことができないという欠点があった。
【００１６】
本発明の目的は、第１のカメラによって得られる入力画像信号を第１の画像処理装置で処理し、第２のカメラによって得られる入力画像信号を第２の画像処理装置で処理し、それぞれの画像処理プロセスを独立に制御することによって監視処理の負荷を分散させることで複数の侵入物体を追尾できるようにすることにある。
また更に本発明の目的は、片方の画像処理装置で侵入物体を一時的に見失った場合でも、他方の画像処理装置の処理結果に基いて監視処理を継続するように制御を行うことによって、第１または第２の侵入物体監視装置の少なくとも１つで侵入物体を監視できるようにし、侵入物体を一時的に見失った場合でも、別の侵入物体監視装置の処理結果に基づいて監視処理を継続することによって、迅速かつ効率的で正確に侵入物体を追尾する、信頼性の高い侵入物体監視方法及び侵入物体監視システムを提供することにある。
【００１７】
【課題を解決するための手段】
上記の目的を達成するために、本発明の侵入物体監視システムは、それぞれ独立な画像処理手段を実行する第１と第２の侵入物体監視装置で構成する。
そして、第１の侵入物体監視装置によって、監視対象領域内に侵入する物体の第１の情報を検出し、第１の情報を第１の侵入物体監視装置から第２の侵入物体監視装置に送り、第２の侵入物監視装置によって、第１の侵入物体監視装置から送られた第１の情報に基づいて侵入物体を捕捉し、第２の侵入物体検出装置は、捕捉した侵入物体の第２の情報を取得し、第２の侵入物体監視装置は、第１の侵入物体監視装置の制御なしに、第２の侵入物体監視装置のカメラを少なくとも制御して、捕捉した侵入物体を追尾する。
また第１の侵入物体監視装置は、侵入物体の追跡を行い、第１の侵入物体監視装置による侵入物体の追跡が不可能になったとき、第２の侵入物体監視装置から侵入物体の第２の情報を取得して追跡を続ける。
また、第２の侵入物体監視装置による物体の追尾が不可能になったとき、第１の侵入物体監視装置から侵入物体の第１の情報を取得して追尾を続ける。
【００１８】
更に、本発明の侵入物体監視方法は、監視対象領域をカバーする視野範囲を持つ第１の侵入物体監視装置と、第１の侵入物体監視装置の視野範囲の一部を監視領域とする少なくとも１つの第２の侵入物体監視装置とを有する侵入物体監視システムを使用し、第１の侵入物体監視装置によって、監視対象領域の画像を入力する第１の画像入力ステップと、第１の画像入力ステップによって入力した画像から侵入物体の第１の情報を検出する第１の検出ステップと、第１の情報に応じて第２の侵入物体監視装置を制御して監視領域の画像を入力し、侵入物体を捕捉する第２の画像入力ステップと、第２の侵入物体監視装置によって、監視領域内の侵入物体の第２の情報を検出する第２の検出ステップとを設け、第２の検出ステップによって検出した第２の情報に応じて、第２の侵入物監視装置を制御して侵入物体を追尾する。
また、第２の検出ステップによって検出した第２の情報は、侵入物体の大きさと検出位置を含む情報であり、第２の侵入物体監視装置による捕捉した侵入物体の追尾は、第２の情報に基づき第２の侵入物体監視装置の雲台を制御して撮像装置の視線方向を変更して行う。
【００１９】
更に、第１の検出ステップは、侵入物体の第１の情報の検出を差分法によって行い、また更に、第２の検出ステップは、侵入物体の第２の情報の検出をテンプレートマッチング法によって行う。
その他更に、侵入物体が新規に検出された侵入物体であるか否かを判定する新規検出物体判定ステップを有し、新規に検出された侵入物体であれば、新規に検出された侵入物体を第２の侵入物体監視装置によって追尾し、侵入物体が新規に検出された侵入物体ではないと判定された場合には、第１の侵入物体監視装置によって追跡中の侵入物体であるとして、侵入物体の以前の位置から現在の侵入物体の位置への変化を、追跡中の侵入物体の移動軌跡とする。
また更に、第２の侵入物体監視装置で撮像した画像を表示装置に表示し、第２の侵入物体監視装置で撮像した侵入物体の像に、侵入物体の移動軌跡を重ねて表示することを特徴とする。
また、第１の侵入物体監視装置は、新規に侵入物体を検出した場合に、侵入物体を追尾していない第２の侵入物体監視装置の１つに新規に検出した侵入物体を追尾させる。
【００２０】
更に、本発明の侵入物体監視方法において、侵入物体監視方法は更に、侵入物体が新規に検出された侵入物体であるか否かを判定する新規検出物体判定ステップを有し、第１の侵入物体監視装置は、新規に侵入物体を検出した場合に、侵入物体を追尾していない第２の侵入物体監視装置の１つに新規に検出した侵入物体の第３の情報を伝達し、伝達された第３の情報に応じて、第２の侵入物体監視装置が新規に検出された侵入物体を捕捉し、捕捉後は、第２の侵入物体監視装置が、捕捉した侵入物体を第１の侵入物体監視装置とは独立に制御する。
また、新規検出物体判定ステップによって、侵入物体が新規に検出された侵入物体ではないと判定された場合には、第１の侵入物体監視装置によって追跡中の侵入物体であるとして、侵入物体の以前の位置から現在の侵入物体の位置への変化を、追跡中の侵入物体の移動軌跡とする。
【００２１】、
更に、本発明の侵入物体監視方法において、第２の検出ステップによって現時刻で検出された侵入物体の検出情報と、前に検出された侵入物体の検出情報とを比較し、比較した検出情報の差に応じて物体の追跡が失敗したか成功したかを判定する追跡判定ステップを設け、失敗と判定された場合には、更に、第１の検出ステップによって検出された第２の情報を取得して、追尾を続ける。
また、第１の情報と第２の情報とを、第１の侵入物体監視方法と第２の侵入物体監視方法との間で相互に交換することによって、監視領域内の侵入物体を監視する。
更にまた、ユーザからの画面切替え要求を入力する画面切替え入力ステップを備え、第１の侵入物体監視装置から入力する第１の検出情報と、第２の侵入物体監視装置から入力する第２の情報とについて、ユーザからの画面切替え要求に応じて、入力した第１の検出情報と第２の検出情報の表示方法を変更する。
また、画面切替え入力ステップは、更に、ユーザが指定した侵入物体の軌跡を重ねて表示する。
【００２２】
本発明の侵入物体監視システムは、監視対象領域の映像を撮像し、監視対象領域に侵入する侵入物体の第１の情報を検出する第１の侵入物体監視装置と、第１の侵入物体監視装置が検出した第１の情報に基づいて、侵入物体を捕捉し、第１の侵入物体監視装置の制御なしに捕捉した侵入物体を追尾する少なくとも１つの第２の侵入物体監視装置とを備え、監視対象領域内に侵入する侵入物体を監視する。
また、第１の侵入物体監視装置は、侵入物体監視処理部を含み、第２の侵入物体監視装置は、第１の侵入物体監視装置の侵入物体監視処理部とは独立に侵入物体監視処理部を含み、第２の侵入物体監視装置が、第１の侵入物体監視装置とは独立に、第１の侵入物体監視装置が検出した侵入物体を追尾する。
更に、第２の侵入物体監視装置は、捕捉した侵入物体の第２の情報を検出し、第２の情報に基づいて、第１の侵入物体監視装置が検出した侵入物体を追尾する。
また更に、第２の侵入物体監視装置を複数有し、第１の侵入物体監視装置の第１の侵入物体監視装置の侵入物体監視処理部は、新規に侵入物体が検出されたか否かを判定し、新規に侵入物体が検出されたと判定した場合に、まだ追尾していない第２の侵入物体監視装置に新規に検出された侵入物体の追尾を割り当て、割り当てられた第２の侵入物体監視装置は新規に検出された侵入物体を捕捉して追尾する。
またその他、第２の侵入物体監視装置は、雲台を備え、第２の侵入物体監視装置が、第１の情報に基づいて雲台を制御して侵入物体を捕捉し、更に、第２の侵入物体監視装置が、第２の情報に基づいて雲台を制御して侵入物体を追尾する。そしてまた、第１の情報と第２の情報を表示する表示装置を有し、ユーザの指示に応じて、侵入物体の情報を表示する。また、侵入物体の情報には、第１の情報と第２の情報から抽出した軌跡を含む。
【００２３】
【発明の実施の形態】
まず、本発明の侵入物体監視システムの一実施例を図１によって説明する。
図１は、侵入物体監視システムのハードウエア構成を示すブロック図である。
第１の侵入物体監視装置101と第２の侵入物体監視装置102とは、第１の通信I/F101hと第２の通信I/F102hとが通信ケーブル107によって接続されている。
また、第１の侵入物体監視装置101側では、第１の入力I/F101gが入力装置105に接続されている。更に第１の出力I/F101jが画像切替合成装置106の制御信号入力端子に接続され、また、警告灯104にも接続されている。
更にまた、第１の侵入物体監視装置101側の第１の画像出力I/F101iと、第２の侵入物体監視装置102側の第２の画像出力I/F102iとは、画像切替合成装置106に接続され、画像切替合成装置106は監視モニタ103に接続されている。
【００２４】
第１の侵入物体監視装置101において、第１のカメラ101aは第１の画像入力I/F101bに接続され、第１の画像入力I/F101b、第１のCPU101c、第１の画像メモリ101d、第１のプログラムメモリ101e、第１のワークメモリ101f、第１の入力I/F101g、第１の通信I/F101h、第１の画像出力I/F101i、及び第１の出力I/F101jは、第１のデータバス101kにそれぞれ接続されている。
また、第２の侵入物体監視装置102において、第２のカメラ102aは第２の画像入力I/F102bに接続され、第２のカメラ102aはカメラ雲台102mに設置され、第２の出力I/F102jは雲台制御装置102lに接続され、雲台制御装置102lはカメラ雲台102mに接続されている。また、第２の画像入力I/F102b、第２のCPU102c、第２の画像メモリ102d、第２のプログラムメモリ102e、第２のワークメモリ102f、第２の通信I/F102h、第２の画像出力I/F102i、及び第２の出力I/F102jは、第２のデータバス102kにそれぞれ接続されている。
【００２５】
図１において、第１のカメラ101aは監視対象区域を含んだ撮像視野内全体を所定の時刻毎に連続的に撮像し、撮像した画像を映像信号に変換して、その映像信号を第１の画像入力I/F101bに与える。第１の画像入力I/F101bは、入力した映像信号を侵入物体監視システムで扱うフォーマット（例えば、幅320 pix、高さ240 pix、8 bit/pix）の画像データに変換し、第１のデータバス101kを介して第１の画像メモリ101dに送る。
第１の画像メモリ101dは、入力してきた画像データを蓄積する。第１のCPU101cは、第１のプログラムメモリ101eに保存されているプログラムに従って、第１のワークメモリ101fを処理作業領域として使用し、第１の画像メモリ101dに蓄積された画像の解析を行なう。
以上の解析の結果、第１の侵入物体監視装置101は、第１のカメラ101aの撮像視野内に侵入物体が侵入したか否か、また侵入物体が侵入した場合には、その検出された侵入物体の大きさや検出位置等の検出情報を得る。第１のCPU101cは、処理結果に応じて第１のデータバス101kから第１の通信I/F101hを介して第２の侵入物体監視装置102へ侵入物体の有無、侵入物体の位置情報、侵入物体追跡結果その他の検出情報を送信する。更に、新規に侵入物体を発見した場合には、第１の通信I/F101hを介して、第２の侵入物体監視装置102のうち、まだ追尾を割り当てられていない第２の侵入物体監視装置102に宛てて、侵入物体追尾割り当てと対象物体の位置情報を送信し、その他、例えば、第１の出力I/F101jを介して警告灯104を点灯したり、例えば監視結果画像を第１の画像出力I/F101iを介して画像切替合成装置106に与える。
【００２６】
第１の通信I/F101hは、第１のCPU101cからの送信データを例えばRS485フォーマットに変換して、通信ケーブル107で接続された１台以上の別の第２の侵入物体監視装置（図１では、１台で代表して描き、以下の説明も第２の侵入物体監視装置102の中の構成要素の参照符号を代表として説明する）へ送信する。また、第１の画像出力I/F101iは、第１のCPU101cからの信号を画像切替合成装置106が使用できるフォーマット（例えば、NTSC映像信号）に変換して、画像切替合成装置106に送る。
また、監視モニタは、１台である必要はなく、２台またはそれ以上でもよく、表示する内容もユーザの要求により自由に変更できる。
その他、第１の侵入物監視装置101と第２の侵入物監視装置102、及び、入力装置105、画像切替え合成装置106、警告灯104、監視モニタ103間の物理的結合は、上述の実施例以外であっても、必要な情報や信号が伝達できる方法であればどんな方法での良いことはいうまでもない。
【００２７】
次に、第２のカメラ102aは、第２のカメラ102aの有する撮像視野内を所定の時刻毎に連続的に撮像する。カメラ雲台102mは雲台制御装置102lが与える雲台制御信号によって第２のカメラ102aの撮像方向を変える。第２のカメラ102aは、撮像した画像を映像信号に変換し、変換した映像信号を第２の画像入力I/F102bに与える。第２の画像入力I/F102bは、入力した映像信号を第２の侵入物体監視装置102で扱うことができるフォーマット（例えば、幅320 pix、高さ240 pix、8 bit/pix）の画像データに変換し、第２のデータバス102kを介して第２の画像メモリ102dに送る。第２の画像メモリ102dは、送られてきた画像データを蓄積する。第２のCPU102cは第２のプログラムメモリ102eに保存されているプログラムに従って、第２のワークメモリ102f内で第２の画像メモリ102dに蓄積された画像の解析を行なう。以上の解析結果、第２のカメラ102aの撮像視野内に侵入物体が侵入した等の検出情報を得る。
【００２８】
第２のCPU102cは、処理結果に応じて第２のデータバス102kから第２の出力I/F102jを介して雲台制御装置102jへ制御信号を送信すると共に、第２の通信I/F102hを介して第１の侵入物体監視装置101へ侵入物体の位置情報、侵入物体追尾結果等の検出情報を送信する。また更に、検出情報、例えば監視結果画像を第２の画像出力I/F102iを介して画像切替合成装置106に与える。
第２の通信I/F102hは、第２のCPU102cからの送信データを例えばRS485フォーマットに変換して、通信ケーブル107で接続された第１の侵入物体監視装置へ送信する。更に、別の第２の侵入物体監視装置が１台以上通信ケーブル107で接続されている場合には、第２の通信I/F102hは、通信ケーブル107を介して、この別の第２の侵入物体監視装置102へも第２のCPU102cからの送信データを送信する。また、第２の画像出力I/F102iは、第２のCPU102cからの信号を画像切替合成装置106が使用できるフォーマット（例えば、NTSC映像信号）に変換して、画像切替合成装置106に送る。
【００２９】
更にまた、入力装置105は、ユーザからの例えばマウス操作、キーボード操作等の指示によって表示画像の切替等の入力を行ない、監視モニタ103は、画像切替合成装置106を介して、第１の侵入物体監視装置101及び第２の侵入物体監視装置102による監視結果画像を、ユーザから入力された指示により、例えば２画面並べて表示したり、どちらか１つを切り替えて表示する。
以下に説明するフローチャートは、すべて上記の侵入物体監視システムのハードウエア構成の一例である図１を使って説明している。
【００３０】
図２と図３は、本発明の一実施例の侵入物体監視方法の処理手順の一例を説明するフローチャートであり、上述の図１の侵入物体監視システムに言及しつつ、以下で説明する。
本実施例は、監視対象領域全体の映像を撮像する第１の撮像装置（第１のカメラ）から逐次入力する画像信号中から侵入物体を検出し、検出した侵入物体の位置変化を追跡する第１の侵入物体監視プロセスと、第１の侵入物体監視プロセスによって侵入物体が存在すると判定された場合に、第１の侵入物体監視装置から与えられた追尾割り当て要求と侵入物体の位置情報とに基づいて、第２の撮像装置（第２のカメラ）によって、逐次入力する画像信号中の侵入物体を検出し、雲台を制御しながら第２の撮像装置の視野内に常に侵入物体を捉えるように追尾するための第２の侵入物体監視プロセスとを備え、第１の侵入物体監視プロセスを第１の侵入物体監視装置101のCPU101cの下で制御し、第２の侵入物体監視プロセスを第２の侵入物体監視装置102のCPU102cの下で制御することによって、それぞれ独立に制御する。これによって、監視処理対象領域内の侵入物体を追尾させるようにした方法である。
図２は第１の侵入物体監視プロセスの一実施例を説明するフローチャートであり、図３は第２の侵入物体監視プロセスの一実施例を説明するフローチャートである。
【００３１】
図２において、侵入物体の監視を開始すると、
画像入力ステップ201では、第１のカメラ101aから、例えば、幅320 pix、高さ240 pix、8 bit/pixの入力画像を取得する。
侵入物体検出ステップ202では、入力画像に基づき、例えば、図９で説明したように、侵入物体検出処理を行なう。
次に、新規検出物体判定ステップ203では、検出された物体の検出位置と、１フレーム前の検出物体との検出位置を比較し、その検出位置の変化量を求める。そして、求めた変化量が所定の量（第１のカメラ101aの視野角に依存する量、例えば、50画素（50 pix））未満の場合には検出物体が１フレーム前にも存在したもの、即ち、新規の検出物体ではないとし、侵入物体追跡ステップ204へ分岐する。ここで、画像入力ステップ201で入力画像を取得する時間間隔は、例えば、100 msecであり、従って、１フレーム前とは、100 msec前の時刻である。また、変化量が所定の量以上の場合には、以前に検出された物体が移動すると予想される距離以上離れた場所で検出されたので、新規に検出された物体として侵入物体追尾割当ステップ207へ分岐する。
【００３２】
侵入物体追跡ステップ204では、１フレーム前の検出物体を現時刻の検出物体の１フレーム前の検出物体とみなし、その位置変化を侵入物体の移動軌跡であるとする。
次に追跡失敗判定ステップ205では、侵入物体の１フレーム前に求めた移動軌跡と現時刻に求めた移動軌跡の角度変化量を計算し、角度変化量が所定の値（例えば90 ゜）以上変化していた場合には、追跡失敗と見なす。これは、侵入物体が、通常、急激に進行方向を変えないという知見に基づく。
１フレーム前に求めた移動軌跡と現在求めた移動軌跡の変化量θは、１フレーム前に侵入物体が座標(x11,y11)から座標(x12,y12)、現在のフレームで侵入物体が座標(x21,y21)から座標(x22,y22)と移動したものとすると、次式のように算出される。
【００３３】
【数４】
【００３４】
追跡失敗判定ステップ205で追跡失敗と判定された場合には、第１の通信I/F101hを介して、第２の侵入物体監視装置102に侵入物体の追跡結果を送信すると共に、視野外移動判定ステップ206に進み、視野外移動判定ステップ206において、画像切替合成装置106を介して監視モニタ103へ信号が送られ、監視モニタ103は例えば“侵入物体見逃し”等の表示を行い、全検出物体終了判定ステップ208に分岐する。
以上のように、追跡失敗判定ステップ205で、追跡失敗と判定された場合には、追跡失敗という追跡結果を第２の侵入物体監視装置102に送信すると述べた。尚、上記「侵入物体の追跡結果」とは、侵入物体がどのように動いたかを表す情報で、例えば、対象物体の位置や移動量や移動方向などを含む情報である。例えば、次のような、ありえない数値を侵入物体の追跡結果として第２の侵入物体監視装置102に送信するようにしても良い。例えば、カメラ101aあるいは102aによって得られる入力画像が、横256画素、縦192画素で構成され、画像上の侵入物体の座標位置（X，Y）を横軸（X軸）の0から255までの数値と縦軸（Y軸）の0から191までの数値を組合せて指定するものとする。このとき、例えば、（999，999）は上記ありえない数値として、何か予め定めたところの情報を伝えるために使用することができる。
【００３５】
また、追跡失敗判定ステップ205で追跡が行なえたと判定された場合には、第１の通信I/F101hを介して、第２の侵入物体監視装置102に侵入物体の位置情報と共に追跡結果を送信し、全検出物体終了判定ステップ208へ分岐する。尚、図２の右向きの太い矢印は、第１の侵入物体監視プロセスの処理結果の情報を第２の侵入物体監視プロセスを処理する第２の侵入物体監視装置のいずれかに宛てて送信することを表す。
また、侵入物体追尾割当ステップ207では、第１の通信I/F101hを介して、現在追尾を行っていない第２の侵入物体監視装置102に侵入物体の位置情報と共に追尾割当の信号を送信し、全検出物体終了判定ステップ208へ分岐する。
【００３６】
図１１は、本発明の一実施例の通信ケーブル107に流れる通信情報の構成を表す一例である。
通信データは、７バイトのデータ列から構成されており、STX3201、DST3202、SRC3203、COM3204、DT13205、DT23206、ETX3207の順で送信される。ここで、STX3201は、通信データの先頭バイトを表し（Start of TeXt）、例えば $A0（$ は１６進数の数値であることを表す）を用いる。更に、DST3202は送信宛先（Destination）のID（識別名）、SRC3203は送信元（Source）のIDを表し、例えば、第１の侵入物体監視装置101のIDを“1”、第２の侵入物体監視装置102のIDを“2”とした場合、第１の侵入物体監視装置101から第２の侵入物体監視装置102へ通信データを送信する場合、DST = 2、SRC = 1となる。更に、COM3204は、通信データの内容（Command）を表し、このデータで通信データが、例えば、追尾割当要求なのか、追跡結果なのか、あるいは追尾結果なのかを表す。例えば、追尾割当要求の場合はCOM = 1、追跡結果の場合はCOM = 2、追尾結果の場合はCOM = 3とする。更に、DT13205、DT23206は、付加情報１（Data 1）と付加情報２（Data 2）を表し、通信データの内容COM3204と組合わせて用いる。例えば、追尾割当要求（COM = 1）とした場合、追尾すべき対象物体がどの位置に存在するかを第２の侵入物体監視装置に送信しなければならないが、この場合、付加情報１（Data 1）に対象物体のＸ座標、付加情報２（Data 2）に対象物体のＹ座標を指定する。さらに、ETX3207は、通信データの終了バイトを表し（End of TeXt）、例えば $AFを用いる。
以上の通信データを用いることで、複数の侵入物体監視装置間で追尾割当要求、対象物体の追跡結果、対象物体の追尾結果をやり取りすることができる。なお、ここでは、通信データを７バイトのデータ列で構成したが、７バイト以外のデータ列で構成したり、また送信するデータの内容に応じて可変長にすることも可能である。
【００３７】
全検出物体終了判定ステップ208では、侵入物体検出ステップ202において検出された全ての侵入物体に対して侵入物体追跡ステップ204あるいは侵入物体追尾割当ステップ207が実行された場合に画像入力ステップ201へ分岐し、侵入物体追跡ステップ204あるいは侵入物体追尾割当ステップ207が実行されていない物体が存在する場合は新規検出物体判定ステップ203へ分岐する。
【００３８】
次に図３の第２の侵入物体監視プロセスでは、
追尾割当待ちステップ301では、第２の通信I/F102hを介して、第１の侵入物体監視プロセスから、検出物体の位置情報と追尾割当信号が送信されて来るまで待機する。
追尾割当判定ステップ302では、追尾割当信号を受信した場合にカメラ雲台制御ステップ303へ分岐し、追尾割当の信号を受信しなかった場合に追尾割当待ちステップ301へ分岐する。
【００３９】
カメラ雲台制御ステップ303では、追尾割当待ちステップ301で受信した侵入物体位置に基づき、第２の出力I/Fを介して雲台制御装置102lを制御することによってカメラ雲台102mを操作して第２のTVカメラ102aの視野1005内（図１０）に第１の侵入物体監視プロセスで検出した侵入物体1001（図１０）を捉える。
カメラ雲台102mの制御量（パン角、チルト角）は、例えば、前述の図１０で示された方法によって算出される。
【００４０】
次に画像入力ステップ304では、第２のTVカメラ102aから、例えば、幅320 pix、高さ240 pix、8 bit/pixの入力画像を取得する。
初期テンプレート作成ステップ305では、画像入力ステップ304で取得した入力画像に基づき図９で説明した侵入物体検出処理を行い、検出された侵入物体をテンプレート画像として第２の画像メモリ102dに記憶する。
【００４１】
次に画像入力ステップ306では、画像入力ステップ304と同様に入力画像を取得する。
そして、侵入物体追尾ステップ307では、第２の画像メモリ102dに記憶したテンプレート画像に基づき、画像入力ステップ306で取得した入力画像のテンプレートマッチングを行ない、例えば、第１の侵入物体監視プロセスで検出した侵入物体との位置変化を検出することで侵入物体を追尾する。
テンプレートマッチングとは、ある画像中でテンプレート画像として登録された画像がどの位置に存在するかを検出するもので、例えば、１９８５年に総研出版より出版された田村秀行氏監修による『コンピュータ画像処理入門』と題する書籍のP118〜125に解説されている。
【００４２】
次に、追尾失敗判定ステップ308では、侵入物体追尾ステップ307において、テンプレートに登録した侵入物体が検出されなかった場合には第２の通信I/F102hを介して第１の侵入物体監視装置101に侵入物体の追尾結果を送信し、追尾要求待ちステップ301へ分岐する。
また侵入物体が検出された場合には、第２の通信I/F102hを介して第１の侵入物体監視手段101に侵入物体の位置情報と共に追尾結果を送信し、テンプレート更新ステップ309へ分岐する。尚、図３の左向きの太い矢印は、第２の侵入物体監視プロセスの処理結果の情報を第１の侵入物体監視プロセスを処理する第１の侵入物体監視装置に宛てて送信することを表す。
【００４３】
テンプレート更新ステップ309では、テンプレートマッチングによって検出された侵入物体の位置の画像を使って、第２の画像メモリ102dに記憶したテンプレート画像を更新する。
次に、カメラ雲台制御ステップ310では、侵入物体追尾ステップ307でテンプレートマッチングによって検出された侵入物体の位置に基づき、第２の出力I/Fを介して雲台制御装置102lを制御する。
即ち、侵入物体が、画像中央から上方に存在する場合にはカメラ雲台102mのチルト角を適量上向きに変更し、画像中央から下方に存在する場合にはカメラ雲台102mのチルト角を適量下向きに変更する。
また、侵入物体が、画像中央から左方に存在する場合にはカメラ雲台102mのパン角を適量左向きに変更し、画像中央から右方に存在する場合にはカメラ雲台102mのパン角を適量右向きに変更する。
【００４４】
なお、上述の実施例では、第１の侵入物体監視装置と第２の侵入物体監視装置とをそれぞれ１台ずつで侵入物体監視システムを構成したが、第２の侵入物体監視手段を複数台で構成することも可能である。
【００４５】
即ち、本発明によれば、第１の侵入物体監視プロセスを第１の侵入物体監視装置101のCPU101cの制御の下で制御し、第２の侵入物体監視プロセスを第２の侵入物体監視装置102のCPU102cの制御の下で制御することによって、それぞれ独立に制御する。第１の侵入物体監視装置は、これによって、監視処理の処理量を分散させることができ、監視対象領域内に複数の侵入物体が存在する場合であっても、監視処理に関わる処理量が増加することなく、それぞれの侵入物体を複数の第２の侵入物体監視装置のいずれかに割り当てることによって侵入物体を追尾させることが可能となる。
【００４６】
図４と図５は、本発明の別の実施例の侵入物体監視方法の処理手順の一例を説明するフローチャートである。
本実施例は、第１の侵入物体監視プロセスにおいて追跡が行なえなくなった場合でも、第２の侵入物体監視プロセスの追尾結果に応じて第１の侵入物体監視プロセスで追跡処理を継続できるようにしたものである。
また、本実施例は更に、第２の侵入物体監視プロセスにおいて追尾が行なえなくなった場合でも、第１の侵入物体監視プロセスの追跡結果に応じて第２の侵入物体監視プロセスで追尾処理を継続できるようにしたものである。
【００４７】
図４は、図２で説明したフローチャートにおいて、追跡失敗判定ステップ205と視野外移動判定ステップ206との間に、追尾失敗判定ステップ401を追加したものである。
また図５は、図３で示されるフローチャートにおいて、追尾失敗判定ステップ308から追尾割当待ちステップ301に分岐する間に、追跡失敗判定ステップ501を追加したものである。
【００４８】
図４または図５において、追加したステップ以外のステップの処理は、図２または図３の通りなので説明を省略する。
即ち、追跡失敗判定ステップ205において、追跡失敗と見なされた場合には、第１の通信I/F101hを介して、第２の侵入物体監視装置102に侵入物体の追跡結果を送信すると共に、追尾失敗判定ステップ401に進む。
【００４９】
次に、追尾失敗判定ステップ401では、通信I/F101hを介して得られた、第２の侵入物体監視プロセスにおける追尾失敗判定ステップ308（図５）からの追尾失敗の判定に基づき、第２の侵入物体監視プロセスで追尾が失敗した場合（即ち、第１の侵入物体監視プロセスと第２の侵入物体監視プロセスの双方で侵入物体を見失った場合）には、視野外移動判定ステップ206に分岐する。
また、追尾が継続して行なわれている場合には全検出物体終了判定ステップ208へ分岐する。
そして、視野外移動判定ステップ206では、画像切替合成装置106を介して監視モニタ103へ信号が送られ、監視モニタ103は例えば“侵入物体見逃し”等の表示を行い、全検出物体終了判定ステップ208に分岐する。
【００５０】
図５において、追跡失敗判定ステップ501では、通信I/F102hを介して得られた、第１の侵入物体監視プロセスによる追跡失敗判定ステップ205（図４）から送信された追跡結果に基づき、第１の侵入物体監視プロセスで追跡が失敗した場合（即ち、第１の侵入物体監視プロセスと第２の侵入物体監視プロセスの双方で侵入物体を見失った場合）に追尾割当持ちステップ301へ分岐する。
また、第１の侵入物体監視プロセスで追跡が継続して行なわれている場合には、カメラ雲台制御ステップ303へ分岐して侵入物体を継続して追尾する。
【００５１】
即ち、上記本発明によると、第１の侵入物体監視装置と第２の侵入物体監視装置とがそれぞれ独立に制御されることによって、少なくとも片方の侵入物体監視プロセスで侵入物体を検出できていれば監視処理を継続することができるため、監視システムの信頼性を向上させることができる。
【００５２】
更に、図６は、本発明の更に別の実施例の侵入物体監視方法の処理手順の一例を説明するフローチャートである。
本実施例は、第１の侵入物体監視プロセスにおいて、入力I/F101gを介して、入力装置105から入力されたユーザ操作に応じて監視モニタ106に表示する監視結果画像を切り替えるものである。
図６は、図４で説明した処理フローチャートの全検出物体終了判定ステップ208によって全ての検出物体の処理を終了したと判断された後に、ユーザ入力判定ステップ601と出力画像切替ステップ602を追加したものである。
【００５３】
図６において、ユーザ入力判定ステップ601では、入力I/F101gを介して、入力装置105からのユーザ入力を監視し、ユーザが入力装置105を操作した場合に出力画像切替ステップ602へ分岐し、操作していない場合は画像入力ステップ201へ分岐する。
出力画像切替ステップ602では、ユーザの入力操作に応じて画像切替合成装置106を制御し、監視モニタ106へ出力する監視結果画像を切り替える。
【００５４】
図７に、第１の侵入物体監視装置１台と第２の侵入物体監視装置３台とで構成した場合の監視モニタ106へ表示される監視結果の画像の一例を示す。
図７は、監視対象領域内に２人の侵入者が存在する場面で、１台目（監視モニタ103で表示中のカメラ2）と２台目（監視モニタ103で表示中のカメラ3）の第２の侵入物体監視装置が、それぞれの侵入物体の追尾をそれぞれ行ない、３台目（監視モニタ103で表示中のカメラ4）の第２の侵入物体監視装置は待機中（追尾割当待ちステップ301及び追尾割当判定ステップ302を実行）の状態にあることを表す。
【００５５】
監視結果画像701は４台のカメラの監視結果画像を画面を４分割して表示したものである。また、監視結果画像702は第１の侵入物体監視装置の監視結果画像を表示し、視野内に写る２人の侵入者の移動軌跡702aと702bを表示したものである。更に、監視結果画像703は１台目の第２の侵入物体監視装置の監視結果画像を表示し、侵入者の表情や細かな動作などと共に画面左下に侵入者の大まかな軌跡である移動経路703aが確認できるように表示したものである。また更に、監視結果画像704は２台目の第２の侵入物体監視装置の監視結果画像を表示し、監視結果画像703と同様に侵入者の表情や細かな動作などと共に画面左下に侵入者の大まかな軌跡である移動経路704aが確認できるように表示したものである。
【００５６】
これらの監視結果画像は、ユーザからの入力操作がある度に監視結果画像701、702、703、704、701と表示（３台目の第２の侵入物体監視装置は待機中であるためスキップされる）される。
本発明によると、ユーザからの入力に応じて侵入物体の移動経路や細かな表情といった監視業務上重要な情報を監視員等に提供することができる。
【００５７】
【発明の効果】
以上のように本発明によれば、第１の侵入物体監視装置と第２の侵入物体監視装置とをそれぞれに内在するCPUの制御の下でそれぞれ独立に制御することによって、監視処理対象領域内の複数の侵入物体を追尾できるため、侵入物体監視システムの処理量を分散することができる。更に、１台の侵入物体監視装置が侵入物体を見失ったとしても、別の侵入物体監視装置によって侵入物体を検出できていれば、その情報を例えば通信ケーブル等を介して受け取ることにより、その情報を利用して侵入物体の監視を継続することができるため、迅速で効率的かつ正確な侵入物体監視が可能となった。これによって、侵入物体の監視性能を著しく向上させることができるため、侵入物体監視システムの適用範囲を大きく広げることができる。
【図面の簡単な説明】
【図１】 本発明の侵入物体監視システムの構成の一実施例を示すブロック図。
【図２】 本発明の一実施例の処理動作を説明するためフローチャート。
【図３】 本発明の一実施例の処理動作を説明するためフローチャート。
【図４】 本発明の一実施例の処理動作を説明するためフローチャート。
【図５】 本発明の一実施例の処理動作を説明するためフローチャート。
【図６】 本発明の一実施例の処理動作を説明するためフローチャート。
【図７】 本発明の監視モニタに表示される画像の一実施例を示す図。
【図８】 従来の２種類のカメラを用いた監視システムについて説明するための図。
【図９】 侵入物体検出処理方法の原理の一例を説明する図。
【図１０】 第１のカメラが検出した侵入物体を、第２のカメラが追尾する方法を説明するための図。
【図１１】 本発明の一実施例の通信ケーブル107に流れる通信情報の構成を表す一例。
【符号の説明】
101：第１の侵入物体監視装置、 101a：第１のカメラ、 101b：第１の画像入力I/F、 101c：第１のCPU、 101d：第１の画像メモリ、 101e：第１のプログラムメモリ、 101f：第１のワークメモリ、 101g：入力I/F、 101h：第１の通信I/F、 101i：第１の画像出力I/F、 101j：第１の出力I/F、 101k：第１のデータバス、 102：第２の侵入物体監視装置、 102a：第２のカメラ、 102b：第２の画像入力I/F、 102c：第２のCPU、 102d：第２の画像メモリ、 102e：第２のプログラムメモリ、 102f：第２のワークメモリ、 102h：第２の通信I/F、 102i：第２の画像出力I/F、 102j：第２の出力I/F、 102k：第２のデータバス、 102l：雲台制御装置、 102m：カメラ雲台、 103：監視モニタ、 104：警告灯、 106：入力装置、 106：画像切替合成装置、 107：通信ケーブル、 801：侵入物体、 802：第１のカメラ、 803：第２のカメラ、 804：監視対象領域、 805：第２のカメラの視野範囲、 901，902，903：入力画像、 904，905：差分画像、 906，907：二値化画像、 908：論理積画像、 909，910：減算器、 911，912：二値化器、 913：論理積器、 914，915，916：物体、 917，918：領域、 919，920，921：画像、 1001：侵入物体、 1002：第１のカメラ、 1003：第２のカメラ、 1004，1005：視野範囲。
【発明の属する技術分野】
本発明は、監視システムに係り、特に監視対象領域全体を撮像する第１の侵入物体監視装置と、侵入物体の移動にしたがって撮像装置の視野方向を追従させて制御する第２の侵入物体監視装置とが、互いに独立に、侵入物体を自動的に監視するようにした侵入物体監視方法及び侵入物体監視システムに関する。
【０００２】
【従来の技術】
近年、侵入物体監視システムにおいて、カメラ等の撮像装置による画像入力手段を用いた侵入物体監視装置の中には、従来の監視員による有人監視の方法に頼らず、監視対象領域内の侵入物体を自動的に検出し、カメラの視野内に侵入物体が常に捉えられるように侵入物体の検出位置に基づいてカメラを乗せた雲台を制御して、カメラの視線方向等を変更して撮像し、所定の報知や警報、侵入物体映像記録などの処置が得られるようしたものがある。
【０００３】
このようなシステムとしては、例えば、図８に示すような２種類のカメラで構成した監視システムがある。図８はタンクヤードの監視を想定した侵入物体監視システムを説明するための図である。
図８において、第１のカメラ802は、監視対象領域804全体を所定の時刻毎に連続的に撮像する画像入力手段である。この第１のカメラ802を含む第１の監視手段は、異なる時刻に撮像した複数のフレーム画像から侵入物体801の検出情報を検出し、検出した侵入物体801に関する検出情報を第２のカメラ803に与える。第２のカメラ803は、第１のカメラ802から与えられる侵入物体801の検出情報に応じて、侵入物体801を自動的に追尾して所定の時刻毎に連続的に撮像する画像入力手段である。
【０００４】
また、第１の監視手段は、引き続き監視対象領域804全体の監視を行い、更に、検出された侵入物体802の追跡を行う。
ここで、本明細書の記載における“追跡”と“追尾”とは、以下のように定義される。
追跡：監視用カメラなどの撮像装置の視野内に写る対象物体の画面上での位置変化を計測する処理。例えば、監視対象領域全体について、対象物体の移動軌跡を求める等、対象物体が検出されてから検出されなくなるまでの時間的変化を監視し記録する。
追尾：撮像装置の雲台制御（カメラの光軸方向の制御）を伴う処理。例えば、移動する対象物体の現時刻の位置を常にカメラの光軸の中心に捉えるように、光軸方向を制御して、監視対象領域の１部である対象物体の領域部分を常に追いかける。
【０００５】
図８と図９とを用いて、第１のカメラ802によって検出された侵入物体801を、第２のカメラ803が追跡する方法を簡単に説明する。
図８において、第１のカメラ802により得られた異なる時刻に入力された複数フレームの画像は、画素毎に輝度値の差分を求められ、その差分の大きい領域が侵入物体801として検出される。更に、侵入物体801が検出された場合に、第１のカメラ802側から、侵入物体の検出位置に基いて第２のカメラ803を乗せる雲台を制御する。これによって、第２のカメラ803の視野805内に常に侵入物体801を捉えられるようにすることができる。
【０００６】
図９は、第１のカメラ802による侵入物体検出処理方法の原理を説明する図である。この方法は、フレーム間差分法などと呼ばれ、従来から広く用いられている。
図９において、減算器909は、時刻ｔ0-1に取得した入力画像901と時刻ｔ0に取得した入力画像902とについて画素毎の輝度値の差分を計算し、入力画像901と入力画像902との差分画像904を出力する。同様に減算器910も、時刻ｔ0に取得した入力画像902と時刻ｔ0+1に取得した入力画像903との画素毎の輝度値の差分を計算し、入力画像902と入力画像903との差分画像905を出力する。
次に、二値化器911は、差分画像904の画素毎の輝度値が所定のしきい値Th未満の輝度値を“0”、しきい値Th以上の画素の輝度値を、例えば“255”（１画素の輝度値を８ビットで計算）として二値化画像906を得る。二値化器912もまた同様の処理を行い、差分画像905から二値化画像907を得る。
【０００７】
次に論理積器913は、二値化画像906と二値化画像907との画素毎の輝度値の論理積を計算し論理積画像908を出力する。これによって入力画像901，902，903に写った人型の物体914，915，916は、減算器909または910によって差分が生じた領域917または918として算出される。そして、二値化器911または912によって輝度値“255”のかたまりの画像919または920として抽出され、更に、論理積器913によって画像919と920を構成する画素の中で、両画像共に輝度値“255”を持つ画素のかたまり画像921が検出される。即ち、画素921が侵入物体として検出される。
なお、監視領域内の侵入物体を検出する方法であれば前記フレーム間差分法以外の方法も適用できる。
【０００８】
以上のように第１のカメラ802によって侵入物体が検出された場合には、第１のカメラ802によって検出された侵入物体801の大きさと検出位置の情報に基いて、第１のカメラ802は、制御信号を第２のカメラ803に与える。これによって、第２のカメラ803の監視視野範囲805の方向（雲台の方向）が制御される。これによって、第２のカメラ803は侵入物体801を捕捉することができる。
【０００９】
第２のカメラ803の雲台の制御量を求める方法を図１０によって説明する。図１０は、第１のカメラ1002の視野範囲1004で検出された侵入物体1001を第２のカメラ1003で追尾する方法を説明するための図である。図１０では、簡略化のため第１のカメラ1002と第２のカメラ1003を同じ位置に設置し、第１のカメラ1002の視野の中心（光軸）方向と第２のカメラ1003の基準視野方向（雲台制御角をパン 0 ゜、チルト 0 ゜）を一致させ、ｘ軸の方向だけに着目して表示している。
【００１０】
図１０において、2Wは第１のカメラ1002の視野（監視対象領域）1004全体についての入力画像の横（ｘ軸）方向の画素数（単位：pix）、Δxは検出された侵入物体の第１のカメラ1002の視野中心からの横方向の変位（単位：pix）、θwは第１のカメラ1002の半監視角度（単位：゜）、θxは第２のカメラ1003の雲台のパン制御角度（単位：゜）を表す。ここで、第１のカメラ1002の半監視角度θwは、第１のカメラ1002の撮像素子の横方向の大きさh（単位：mm）と、第１のカメラ1002の焦点距離f（単位：mm）とによって、
【数１】
【００１１】
また、この監視条件において、入力画像の横方向の画素数2W、侵入物体1001の検出位置の第１のカメラ1002の視野中心からの横方向の変位Δxと、第１のカメラ1002の半監視角度θwと、第２のカメラ1003の雲台のパン制御角度θxとには、
【数２】
【００１２】
即ち、第２のカメラ1003の雲台のパン制御角度θxは、
【数３】
【００１３】
例えば、半監視角度θwを30 ゜、第１のカメラ1002の入力画像の横方向の画素数2Wを320 pix、検出された侵入物体の第１のカメラ1002の視野中心からの変位Δxを40とした場合、第２のカメラ1003の雲台のパン制御角度は8.2 ゜となる。
【００１４】
以上のように、第１のカメラ1002によって異なる時刻に入力した複数フレームの画像を比較して画素毎に輝度値の差分を求め、その差分の大きい領域を侵入物体1001として検出した場合に、その侵入物体1001の大きさと検出位置に基いて第１のカメラ1002から送られる制御信号によって、第２のカメラ1003の雲台が制御される。これによって、第２のカメラ1003の視野範囲1005内に常に侵入物体1001を捕捉できるため、移動する侵入物体を第２のカメラ1003が常に自動的に追尾することができる。
上記２つのカメラ構成による監視装置としては、例えば、特開平５−３３４５７２号公報及び特開平６−１５３０５１号公報がある。
【００１５】
【発明が解決しようとする課題】
前述の従来技術には、複数の侵入物体を追尾するために複数の第２のカメラを制御する構成とした場合に、侵入物体の数に比例して、第１のカメラが複数の第２のカメラを制御するため、第１のカメラの処理量が増加する欠点があった。
更に、第１のカメラで侵入物体が一時的に検出できなくなった場合には、第２のカメラがその侵入物体を捉えられる位置にあっても、継続して追尾を行なうことができないという欠点があった。
【００１６】
本発明の目的は、第１のカメラによって得られる入力画像信号を第１の画像処理装置で処理し、第２のカメラによって得られる入力画像信号を第２の画像処理装置で処理し、それぞれの画像処理プロセスを独立に制御することによって監視処理の負荷を分散させることで複数の侵入物体を追尾できるようにすることにある。
また更に本発明の目的は、片方の画像処理装置で侵入物体を一時的に見失った場合でも、他方の画像処理装置の処理結果に基いて監視処理を継続するように制御を行うことによって、第１または第２の侵入物体監視装置の少なくとも１つで侵入物体を監視できるようにし、侵入物体を一時的に見失った場合でも、別の侵入物体監視装置の処理結果に基づいて監視処理を継続することによって、迅速かつ効率的で正確に侵入物体を追尾する、信頼性の高い侵入物体監視方法及び侵入物体監視システムを提供することにある。
【００１７】
【課題を解決するための手段】
上記の目的を達成するために、本発明の侵入物体監視システムは、それぞれ独立な画像処理手段を実行する第１と第２の侵入物体監視装置で構成する。
そして、第１の侵入物体監視装置によって、監視対象領域内に侵入する物体の第１の情報を検出し、第１の情報を第１の侵入物体監視装置から第２の侵入物体監視装置に送り、第２の侵入物監視装置によって、第１の侵入物体監視装置から送られた第１の情報に基づいて侵入物体を捕捉し、第２の侵入物体検出装置は、捕捉した侵入物体の第２の情報を取得し、第２の侵入物体監視装置は、第１の侵入物体監視装置の制御なしに、第２の侵入物体監視装置のカメラを少なくとも制御して、捕捉した侵入物体を追尾する。
また第１の侵入物体監視装置は、侵入物体の追跡を行い、第１の侵入物体監視装置による侵入物体の追跡が不可能になったとき、第２の侵入物体監視装置から侵入物体の第２の情報を取得して追跡を続ける。
また、第２の侵入物体監視装置による物体の追尾が不可能になったとき、第１の侵入物体監視装置から侵入物体の第１の情報を取得して追尾を続ける。
【００１８】
更に、本発明の侵入物体監視方法は、監視対象領域をカバーする視野範囲を持つ第１の侵入物体監視装置と、第１の侵入物体監視装置の視野範囲の一部を監視領域とする少なくとも１つの第２の侵入物体監視装置とを有する侵入物体監視システムを使用し、第１の侵入物体監視装置によって、監視対象領域の画像を入力する第１の画像入力ステップと、第１の画像入力ステップによって入力した画像から侵入物体の第１の情報を検出する第１の検出ステップと、第１の情報に応じて第２の侵入物体監視装置を制御して監視領域の画像を入力し、侵入物体を捕捉する第２の画像入力ステップと、第２の侵入物体監視装置によって、監視領域内の侵入物体の第２の情報を検出する第２の検出ステップとを設け、第２の検出ステップによって検出した第２の情報に応じて、第２の侵入物監視装置を制御して侵入物体を追尾する。
また、第２の検出ステップによって検出した第２の情報は、侵入物体の大きさと検出位置を含む情報であり、第２の侵入物体監視装置による捕捉した侵入物体の追尾は、第２の情報に基づき第２の侵入物体監視装置の雲台を制御して撮像装置の視線方向を変更して行う。
【００１９】
更に、第１の検出ステップは、侵入物体の第１の情報の検出を差分法によって行い、また更に、第２の検出ステップは、侵入物体の第２の情報の検出をテンプレートマッチング法によって行う。
その他更に、侵入物体が新規に検出された侵入物体であるか否かを判定する新規検出物体判定ステップを有し、新規に検出された侵入物体であれば、新規に検出された侵入物体を第２の侵入物体監視装置によって追尾し、侵入物体が新規に検出された侵入物体ではないと判定された場合には、第１の侵入物体監視装置によって追跡中の侵入物体であるとして、侵入物体の以前の位置から現在の侵入物体の位置への変化を、追跡中の侵入物体の移動軌跡とする。
また更に、第２の侵入物体監視装置で撮像した画像を表示装置に表示し、第２の侵入物体監視装置で撮像した侵入物体の像に、侵入物体の移動軌跡を重ねて表示することを特徴とする。
また、第１の侵入物体監視装置は、新規に侵入物体を検出した場合に、侵入物体を追尾していない第２の侵入物体監視装置の１つに新規に検出した侵入物体を追尾させる。
【００２０】
更に、本発明の侵入物体監視方法において、侵入物体監視方法は更に、侵入物体が新規に検出された侵入物体であるか否かを判定する新規検出物体判定ステップを有し、第１の侵入物体監視装置は、新規に侵入物体を検出した場合に、侵入物体を追尾していない第２の侵入物体監視装置の１つに新規に検出した侵入物体の第３の情報を伝達し、伝達された第３の情報に応じて、第２の侵入物体監視装置が新規に検出された侵入物体を捕捉し、捕捉後は、第２の侵入物体監視装置が、捕捉した侵入物体を第１の侵入物体監視装置とは独立に制御する。
また、新規検出物体判定ステップによって、侵入物体が新規に検出された侵入物体ではないと判定された場合には、第１の侵入物体監視装置によって追跡中の侵入物体であるとして、侵入物体の以前の位置から現在の侵入物体の位置への変化を、追跡中の侵入物体の移動軌跡とする。
【００２１】、
更に、本発明の侵入物体監視方法において、第２の検出ステップによって現時刻で検出された侵入物体の検出情報と、前に検出された侵入物体の検出情報とを比較し、比較した検出情報の差に応じて物体の追跡が失敗したか成功したかを判定する追跡判定ステップを設け、失敗と判定された場合には、更に、第１の検出ステップによって検出された第２の情報を取得して、追尾を続ける。
また、第１の情報と第２の情報とを、第１の侵入物体監視方法と第２の侵入物体監視方法との間で相互に交換することによって、監視領域内の侵入物体を監視する。
更にまた、ユーザからの画面切替え要求を入力する画面切替え入力ステップを備え、第１の侵入物体監視装置から入力する第１の検出情報と、第２の侵入物体監視装置から入力する第２の情報とについて、ユーザからの画面切替え要求に応じて、入力した第１の検出情報と第２の検出情報の表示方法を変更する。
また、画面切替え入力ステップは、更に、ユーザが指定した侵入物体の軌跡を重ねて表示する。
【００２２】
本発明の侵入物体監視システムは、監視対象領域の映像を撮像し、監視対象領域に侵入する侵入物体の第１の情報を検出する第１の侵入物体監視装置と、第１の侵入物体監視装置が検出した第１の情報に基づいて、侵入物体を捕捉し、第１の侵入物体監視装置の制御なしに捕捉した侵入物体を追尾する少なくとも１つの第２の侵入物体監視装置とを備え、監視対象領域内に侵入する侵入物体を監視する。
また、第１の侵入物体監視装置は、侵入物体監視処理部を含み、第２の侵入物体監視装置は、第１の侵入物体監視装置の侵入物体監視処理部とは独立に侵入物体監視処理部を含み、第２の侵入物体監視装置が、第１の侵入物体監視装置とは独立に、第１の侵入物体監視装置が検出した侵入物体を追尾する。
更に、第２の侵入物体監視装置は、捕捉した侵入物体の第２の情報を検出し、第２の情報に基づいて、第１の侵入物体監視装置が検出した侵入物体を追尾する。
また更に、第２の侵入物体監視装置を複数有し、第１の侵入物体監視装置の第１の侵入物体監視装置の侵入物体監視処理部は、新規に侵入物体が検出されたか否かを判定し、新規に侵入物体が検出されたと判定した場合に、まだ追尾していない第２の侵入物体監視装置に新規に検出された侵入物体の追尾を割り当て、割り当てられた第２の侵入物体監視装置は新規に検出された侵入物体を捕捉して追尾する。
またその他、第２の侵入物体監視装置は、雲台を備え、第２の侵入物体監視装置が、第１の情報に基づいて雲台を制御して侵入物体を捕捉し、更に、第２の侵入物体監視装置が、第２の情報に基づいて雲台を制御して侵入物体を追尾する。そしてまた、第１の情報と第２の情報を表示する表示装置を有し、ユーザの指示に応じて、侵入物体の情報を表示する。また、侵入物体の情報には、第１の情報と第２の情報から抽出した軌跡を含む。
【００２３】
【発明の実施の形態】
まず、本発明の侵入物体監視システムの一実施例を図１によって説明する。
図１は、侵入物体監視システムのハードウエア構成を示すブロック図である。
第１の侵入物体監視装置101と第２の侵入物体監視装置102とは、第１の通信I/F101hと第２の通信I/F102hとが通信ケーブル107によって接続されている。
また、第１の侵入物体監視装置101側では、第１の入力I/F101gが入力装置105に接続されている。更に第１の出力I/F101jが画像切替合成装置106の制御信号入力端子に接続され、また、警告灯104にも接続されている。
更にまた、第１の侵入物体監視装置101側の第１の画像出力I/F101iと、第２の侵入物体監視装置102側の第２の画像出力I/F102iとは、画像切替合成装置106に接続され、画像切替合成装置106は監視モニタ103に接続されている。
【００２４】
第１の侵入物体監視装置101において、第１のカメラ101aは第１の画像入力I/F101bに接続され、第１の画像入力I/F101b、第１のCPU101c、第１の画像メモリ101d、第１のプログラムメモリ101e、第１のワークメモリ101f、第１の入力I/F101g、第１の通信I/F101h、第１の画像出力I/F101i、及び第１の出力I/F101jは、第１のデータバス101kにそれぞれ接続されている。
また、第２の侵入物体監視装置102において、第２のカメラ102aは第２の画像入力I/F102bに接続され、第２のカメラ102aはカメラ雲台102mに設置され、第２の出力I/F102jは雲台制御装置102lに接続され、雲台制御装置102lはカメラ雲台102mに接続されている。また、第２の画像入力I/F102b、第２のCPU102c、第２の画像メモリ102d、第２のプログラムメモリ102e、第２のワークメモリ102f、第２の通信I/F102h、第２の画像出力I/F102i、及び第２の出力I/F102jは、第２のデータバス102kにそれぞれ接続されている。
【００２５】
図１において、第１のカメラ101aは監視対象区域を含んだ撮像視野内全体を所定の時刻毎に連続的に撮像し、撮像した画像を映像信号に変換して、その映像信号を第１の画像入力I/F101bに与える。第１の画像入力I/F101bは、入力した映像信号を侵入物体監視システムで扱うフォーマット（例えば、幅320 pix、高さ240 pix、8 bit/pix）の画像データに変換し、第１のデータバス101kを介して第１の画像メモリ101dに送る。
第１の画像メモリ101dは、入力してきた画像データを蓄積する。第１のCPU101cは、第１のプログラムメモリ101eに保存されているプログラムに従って、第１のワークメモリ101fを処理作業領域として使用し、第１の画像メモリ101dに蓄積された画像の解析を行なう。
以上の解析の結果、第１の侵入物体監視装置101は、第１のカメラ101aの撮像視野内に侵入物体が侵入したか否か、また侵入物体が侵入した場合には、その検出された侵入物体の大きさや検出位置等の検出情報を得る。第１のCPU101cは、処理結果に応じて第１のデータバス101kから第１の通信I/F101hを介して第２の侵入物体監視装置102へ侵入物体の有無、侵入物体の位置情報、侵入物体追跡結果その他の検出情報を送信する。更に、新規に侵入物体を発見した場合には、第１の通信I/F101hを介して、第２の侵入物体監視装置102のうち、まだ追尾を割り当てられていない第２の侵入物体監視装置102に宛てて、侵入物体追尾割り当てと対象物体の位置情報を送信し、その他、例えば、第１の出力I/F101jを介して警告灯104を点灯したり、例えば監視結果画像を第１の画像出力I/F101iを介して画像切替合成装置106に与える。
【００２６】
第１の通信I/F101hは、第１のCPU101cからの送信データを例えばRS485フォーマットに変換して、通信ケーブル107で接続された１台以上の別の第２の侵入物体監視装置（図１では、１台で代表して描き、以下の説明も第２の侵入物体監視装置102の中の構成要素の参照符号を代表として説明する）へ送信する。また、第１の画像出力I/F101iは、第１のCPU101cからの信号を画像切替合成装置106が使用できるフォーマット（例えば、NTSC映像信号）に変換して、画像切替合成装置106に送る。
また、監視モニタは、１台である必要はなく、２台またはそれ以上でもよく、表示する内容もユーザの要求により自由に変更できる。
その他、第１の侵入物監視装置101と第２の侵入物監視装置102、及び、入力装置105、画像切替え合成装置106、警告灯104、監視モニタ103間の物理的結合は、上述の実施例以外であっても、必要な情報や信号が伝達できる方法であればどんな方法での良いことはいうまでもない。
【００２７】
次に、第２のカメラ102aは、第２のカメラ102aの有する撮像視野内を所定の時刻毎に連続的に撮像する。カメラ雲台102mは雲台制御装置102lが与える雲台制御信号によって第２のカメラ102aの撮像方向を変える。第２のカメラ102aは、撮像した画像を映像信号に変換し、変換した映像信号を第２の画像入力I/F102bに与える。第２の画像入力I/F102bは、入力した映像信号を第２の侵入物体監視装置102で扱うことができるフォーマット（例えば、幅320 pix、高さ240 pix、8 bit/pix）の画像データに変換し、第２のデータバス102kを介して第２の画像メモリ102dに送る。第２の画像メモリ102dは、送られてきた画像データを蓄積する。第２のCPU102cは第２のプログラムメモリ102eに保存されているプログラムに従って、第２のワークメモリ102f内で第２の画像メモリ102dに蓄積された画像の解析を行なう。以上の解析結果、第２のカメラ102aの撮像視野内に侵入物体が侵入した等の検出情報を得る。
【００２８】
第２のCPU102cは、処理結果に応じて第２のデータバス102kから第２の出力I/F102jを介して雲台制御装置102jへ制御信号を送信すると共に、第２の通信I/F102hを介して第１の侵入物体監視装置101へ侵入物体の位置情報、侵入物体追尾結果等の検出情報を送信する。また更に、検出情報、例えば監視結果画像を第２の画像出力I/F102iを介して画像切替合成装置106に与える。
第２の通信I/F102hは、第２のCPU102cからの送信データを例えばRS485フォーマットに変換して、通信ケーブル107で接続された第１の侵入物体監視装置へ送信する。更に、別の第２の侵入物体監視装置が１台以上通信ケーブル107で接続されている場合には、第２の通信I/F102hは、通信ケーブル107を介して、この別の第２の侵入物体監視装置102へも第２のCPU102cからの送信データを送信する。また、第２の画像出力I/F102iは、第２のCPU102cからの信号を画像切替合成装置106が使用できるフォーマット（例えば、NTSC映像信号）に変換して、画像切替合成装置106に送る。
【００２９】
更にまた、入力装置105は、ユーザからの例えばマウス操作、キーボード操作等の指示によって表示画像の切替等の入力を行ない、監視モニタ103は、画像切替合成装置106を介して、第１の侵入物体監視装置101及び第２の侵入物体監視装置102による監視結果画像を、ユーザから入力された指示により、例えば２画面並べて表示したり、どちらか１つを切り替えて表示する。
以下に説明するフローチャートは、すべて上記の侵入物体監視システムのハードウエア構成の一例である図１を使って説明している。
【００３０】
図２と図３は、本発明の一実施例の侵入物体監視方法の処理手順の一例を説明するフローチャートであり、上述の図１の侵入物体監視システムに言及しつつ、以下で説明する。
本実施例は、監視対象領域全体の映像を撮像する第１の撮像装置（第１のカメラ）から逐次入力する画像信号中から侵入物体を検出し、検出した侵入物体の位置変化を追跡する第１の侵入物体監視プロセスと、第１の侵入物体監視プロセスによって侵入物体が存在すると判定された場合に、第１の侵入物体監視装置から与えられた追尾割り当て要求と侵入物体の位置情報とに基づいて、第２の撮像装置（第２のカメラ）によって、逐次入力する画像信号中の侵入物体を検出し、雲台を制御しながら第２の撮像装置の視野内に常に侵入物体を捉えるように追尾するための第２の侵入物体監視プロセスとを備え、第１の侵入物体監視プロセスを第１の侵入物体監視装置101のCPU101cの下で制御し、第２の侵入物体監視プロセスを第２の侵入物体監視装置102のCPU102cの下で制御することによって、それぞれ独立に制御する。これによって、監視処理対象領域内の侵入物体を追尾させるようにした方法である。
図２は第１の侵入物体監視プロセスの一実施例を説明するフローチャートであり、図３は第２の侵入物体監視プロセスの一実施例を説明するフローチャートである。
【００３１】
図２において、侵入物体の監視を開始すると、
画像入力ステップ201では、第１のカメラ101aから、例えば、幅320 pix、高さ240 pix、8 bit/pixの入力画像を取得する。
侵入物体検出ステップ202では、入力画像に基づき、例えば、図９で説明したように、侵入物体検出処理を行なう。
次に、新規検出物体判定ステップ203では、検出された物体の検出位置と、１フレーム前の検出物体との検出位置を比較し、その検出位置の変化量を求める。そして、求めた変化量が所定の量（第１のカメラ101aの視野角に依存する量、例えば、50画素（50 pix））未満の場合には検出物体が１フレーム前にも存在したもの、即ち、新規の検出物体ではないとし、侵入物体追跡ステップ204へ分岐する。ここで、画像入力ステップ201で入力画像を取得する時間間隔は、例えば、100 msecであり、従って、１フレーム前とは、100 msec前の時刻である。また、変化量が所定の量以上の場合には、以前に検出された物体が移動すると予想される距離以上離れた場所で検出されたので、新規に検出された物体として侵入物体追尾割当ステップ207へ分岐する。
【００３２】
侵入物体追跡ステップ204では、１フレーム前の検出物体を現時刻の検出物体の１フレーム前の検出物体とみなし、その位置変化を侵入物体の移動軌跡であるとする。
次に追跡失敗判定ステップ205では、侵入物体の１フレーム前に求めた移動軌跡と現時刻に求めた移動軌跡の角度変化量を計算し、角度変化量が所定の値（例えば90 ゜）以上変化していた場合には、追跡失敗と見なす。これは、侵入物体が、通常、急激に進行方向を変えないという知見に基づく。
１フレーム前に求めた移動軌跡と現在求めた移動軌跡の変化量θは、１フレーム前に侵入物体が座標(x11,y11)から座標(x12,y12)、現在のフレームで侵入物体が座標(x21,y21)から座標(x22,y22)と移動したものとすると、次式のように算出される。
【００３３】
【数４】
追跡失敗判定ステップ205で追跡失敗と判定された場合には、第１の通信I/F101hを介して、第２の侵入物体監視装置102に侵入物体の追跡結果を送信すると共に、視野外移動判定ステップ206に進み、視野外移動判定ステップ206において、画像切替合成装置106を介して監視モニタ103へ信号が送られ、監視モニタ103は例えば“侵入物体見逃し”等の表示を行い、全検出物体終了判定ステップ208に分岐する。
以上のように、追跡失敗判定ステップ205で、追跡失敗と判定された場合には、追跡失敗という追跡結果を第２の侵入物体監視装置102に送信すると述べた。尚、上記「侵入物体の追跡結果」とは、侵入物体がどのように動いたかを表す情報で、例えば、対象物体の位置や移動量や移動方向などを含む情報である。例えば、次のような、ありえない数値を侵入物体の追跡結果として第２の侵入物体監視装置102に送信するようにしても良い。例えば、カメラ101aあるいは102aによって得られる入力画像が、横256画素、縦192画素で構成され、画像上の侵入物体の座標位置（X，Y）を横軸（X軸）の0から255までの数値と縦軸（Y軸）の0から191までの数値を組合せて指定するものとする。このとき、例えば、（999，999）は上記ありえない数値として、何か予め定めたところの情報を伝えるために使用することができる。
【００３５】
また、追跡失敗判定ステップ205で追跡が行なえたと判定された場合には、第１の通信I/F101hを介して、第２の侵入物体監視装置102に侵入物体の位置情報と共に追跡結果を送信し、全検出物体終了判定ステップ208へ分岐する。尚、図２の右向きの太い矢印は、第１の侵入物体監視プロセスの処理結果の情報を第２の侵入物体監視プロセスを処理する第２の侵入物体監視装置のいずれかに宛てて送信することを表す。
また、侵入物体追尾割当ステップ207では、第１の通信I/F101hを介して、現在追尾を行っていない第２の侵入物体監視装置102に侵入物体の位置情報と共に追尾割当の信号を送信し、全検出物体終了判定ステップ208へ分岐する。
【００３６】
図１１は、本発明の一実施例の通信ケーブル107に流れる通信情報の構成を表す一例である。
通信データは、７バイトのデータ列から構成されており、STX3201、DST3202、SRC3203、COM3204、DT13205、DT23206、ETX3207の順で送信される。ここで、STX3201は、通信データの先頭バイトを表し（Start of TeXt）、例えば $A0（$ は１６進数の数値であることを表す）を用いる。更に、DST3202は送信宛先（Destination）のID（識別名）、SRC3203は送信元（Source）のIDを表し、例えば、第１の侵入物体監視装置101のIDを“1”、第２の侵入物体監視装置102のIDを“2”とした場合、第１の侵入物体監視装置101から第２の侵入物体監視装置102へ通信データを送信する場合、DST = 2、SRC = 1となる。更に、COM3204は、通信データの内容（Command）を表し、このデータで通信データが、例えば、追尾割当要求なのか、追跡結果なのか、あるいは追尾結果なのかを表す。例えば、追尾割当要求の場合はCOM = 1、追跡結果の場合はCOM = 2、追尾結果の場合はCOM = 3とする。更に、DT13205、DT23206は、付加情報１（Data 1）と付加情報２（Data 2）を表し、通信データの内容COM3204と組合わせて用いる。例えば、追尾割当要求（COM = 1）とした場合、追尾すべき対象物体がどの位置に存在するかを第２の侵入物体監視装置に送信しなければならないが、この場合、付加情報１（Data 1）に対象物体のＸ座標、付加情報２（Data 2）に対象物体のＹ座標を指定する。さらに、ETX3207は、通信データの終了バイトを表し（End of TeXt）、例えば $AFを用いる。
以上の通信データを用いることで、複数の侵入物体監視装置間で追尾割当要求、対象物体の追跡結果、対象物体の追尾結果をやり取りすることができる。なお、ここでは、通信データを７バイトのデータ列で構成したが、７バイト以外のデータ列で構成したり、また送信するデータの内容に応じて可変長にすることも可能である。
【００３７】
全検出物体終了判定ステップ208では、侵入物体検出ステップ202において検出された全ての侵入物体に対して侵入物体追跡ステップ204あるいは侵入物体追尾割当ステップ207が実行された場合に画像入力ステップ201へ分岐し、侵入物体追跡ステップ204あるいは侵入物体追尾割当ステップ207が実行されていない物体が存在する場合は新規検出物体判定ステップ203へ分岐する。
【００３８】
次に図３の第２の侵入物体監視プロセスでは、
追尾割当待ちステップ301では、第２の通信I/F102hを介して、第１の侵入物体監視プロセスから、検出物体の位置情報と追尾割当信号が送信されて来るまで待機する。
追尾割当判定ステップ302では、追尾割当信号を受信した場合にカメラ雲台制御ステップ303へ分岐し、追尾割当の信号を受信しなかった場合に追尾割当待ちステップ301へ分岐する。
【００３９】
カメラ雲台制御ステップ303では、追尾割当待ちステップ301で受信した侵入物体位置に基づき、第２の出力I/Fを介して雲台制御装置102lを制御することによってカメラ雲台102mを操作して第２のTVカメラ102aの視野1005内（図１０）に第１の侵入物体監視プロセスで検出した侵入物体1001（図１０）を捉える。
カメラ雲台102mの制御量（パン角、チルト角）は、例えば、前述の図１０で示された方法によって算出される。
【００４０】
次に画像入力ステップ304では、第２のTVカメラ102aから、例えば、幅320 pix、高さ240 pix、8 bit/pixの入力画像を取得する。
初期テンプレート作成ステップ305では、画像入力ステップ304で取得した入力画像に基づき図９で説明した侵入物体検出処理を行い、検出された侵入物体をテンプレート画像として第２の画像メモリ102dに記憶する。
【００４１】
次に画像入力ステップ306では、画像入力ステップ304と同様に入力画像を取得する。
そして、侵入物体追尾ステップ307では、第２の画像メモリ102dに記憶したテンプレート画像に基づき、画像入力ステップ306で取得した入力画像のテンプレートマッチングを行ない、例えば、第１の侵入物体監視プロセスで検出した侵入物体との位置変化を検出することで侵入物体を追尾する。
テンプレートマッチングとは、ある画像中でテンプレート画像として登録された画像がどの位置に存在するかを検出するもので、例えば、１９８５年に総研出版より出版された田村秀行氏監修による『コンピュータ画像処理入門』と題する書籍のP118〜125に解説されている。
【００４２】
次に、追尾失敗判定ステップ308では、侵入物体追尾ステップ307において、テンプレートに登録した侵入物体が検出されなかった場合には第２の通信I/F102hを介して第１の侵入物体監視装置101に侵入物体の追尾結果を送信し、追尾要求待ちステップ301へ分岐する。
また侵入物体が検出された場合には、第２の通信I/F102hを介して第１の侵入物体監視手段101に侵入物体の位置情報と共に追尾結果を送信し、テンプレート更新ステップ309へ分岐する。尚、図３の左向きの太い矢印は、第２の侵入物体監視プロセスの処理結果の情報を第１の侵入物体監視プロセスを処理する第１の侵入物体監視装置に宛てて送信することを表す。
【００４３】
テンプレート更新ステップ309では、テンプレートマッチングによって検出された侵入物体の位置の画像を使って、第２の画像メモリ102dに記憶したテンプレート画像を更新する。
次に、カメラ雲台制御ステップ310では、侵入物体追尾ステップ307でテンプレートマッチングによって検出された侵入物体の位置に基づき、第２の出力I/Fを介して雲台制御装置102lを制御する。
即ち、侵入物体が、画像中央から上方に存在する場合にはカメラ雲台102mのチルト角を適量上向きに変更し、画像中央から下方に存在する場合にはカメラ雲台102mのチルト角を適量下向きに変更する。
また、侵入物体が、画像中央から左方に存在する場合にはカメラ雲台102mのパン角を適量左向きに変更し、画像中央から右方に存在する場合にはカメラ雲台102mのパン角を適量右向きに変更する。
【００４４】
なお、上述の実施例では、第１の侵入物体監視装置と第２の侵入物体監視装置とをそれぞれ１台ずつで侵入物体監視システムを構成したが、第２の侵入物体監視手段を複数台で構成することも可能である。
【００４５】
即ち、本発明によれば、第１の侵入物体監視プロセスを第１の侵入物体監視装置101のCPU101cの制御の下で制御し、第２の侵入物体監視プロセスを第２の侵入物体監視装置102のCPU102cの制御の下で制御することによって、それぞれ独立に制御する。第１の侵入物体監視装置は、これによって、監視処理の処理量を分散させることができ、監視対象領域内に複数の侵入物体が存在する場合であっても、監視処理に関わる処理量が増加することなく、それぞれの侵入物体を複数の第２の侵入物体監視装置のいずれかに割り当てることによって侵入物体を追尾させることが可能となる。
【００４６】
図４と図５は、本発明の別の実施例の侵入物体監視方法の処理手順の一例を説明するフローチャートである。
本実施例は、第１の侵入物体監視プロセスにおいて追跡が行なえなくなった場合でも、第２の侵入物体監視プロセスの追尾結果に応じて第１の侵入物体監視プロセスで追跡処理を継続できるようにしたものである。
また、本実施例は更に、第２の侵入物体監視プロセスにおいて追尾が行なえなくなった場合でも、第１の侵入物体監視プロセスの追跡結果に応じて第２の侵入物体監視プロセスで追尾処理を継続できるようにしたものである。
【００４７】
図４は、図２で説明したフローチャートにおいて、追跡失敗判定ステップ205と視野外移動判定ステップ206との間に、追尾失敗判定ステップ401を追加したものである。
また図５は、図３で示されるフローチャートにおいて、追尾失敗判定ステップ308から追尾割当待ちステップ301に分岐する間に、追跡失敗判定ステップ501を追加したものである。
【００４８】
図４または図５において、追加したステップ以外のステップの処理は、図２または図３の通りなので説明を省略する。
即ち、追跡失敗判定ステップ205において、追跡失敗と見なされた場合には、第１の通信I/F101hを介して、第２の侵入物体監視装置102に侵入物体の追跡結果を送信すると共に、追尾失敗判定ステップ401に進む。
【００４９】
次に、追尾失敗判定ステップ401では、通信I/F101hを介して得られた、第２の侵入物体監視プロセスにおける追尾失敗判定ステップ308（図５）からの追尾失敗の判定に基づき、第２の侵入物体監視プロセスで追尾が失敗した場合（即ち、第１の侵入物体監視プロセスと第２の侵入物体監視プロセスの双方で侵入物体を見失った場合）には、視野外移動判定ステップ206に分岐する。
また、追尾が継続して行なわれている場合には全検出物体終了判定ステップ208へ分岐する。
そして、視野外移動判定ステップ206では、画像切替合成装置106を介して監視モニタ103へ信号が送られ、監視モニタ103は例えば“侵入物体見逃し”等の表示を行い、全検出物体終了判定ステップ208に分岐する。
【００５０】
図５において、追跡失敗判定ステップ501では、通信I/F102hを介して得られた、第１の侵入物体監視プロセスによる追跡失敗判定ステップ205（図４）から送信された追跡結果に基づき、第１の侵入物体監視プロセスで追跡が失敗した場合（即ち、第１の侵入物体監視プロセスと第２の侵入物体監視プロセスの双方で侵入物体を見失った場合）に追尾割当持ちステップ301へ分岐する。
また、第１の侵入物体監視プロセスで追跡が継続して行なわれている場合には、カメラ雲台制御ステップ303へ分岐して侵入物体を継続して追尾する。
【００５１】
即ち、上記本発明によると、第１の侵入物体監視装置と第２の侵入物体監視装置とがそれぞれ独立に制御されることによって、少なくとも片方の侵入物体監視プロセスで侵入物体を検出できていれば監視処理を継続することができるため、監視システムの信頼性を向上させることができる。
【００５２】
更に、図６は、本発明の更に別の実施例の侵入物体監視方法の処理手順の一例を説明するフローチャートである。
本実施例は、第１の侵入物体監視プロセスにおいて、入力I/F101gを介して、入力装置105から入力されたユーザ操作に応じて監視モニタ106に表示する監視結果画像を切り替えるものである。
図６は、図４で説明した処理フローチャートの全検出物体終了判定ステップ208によって全ての検出物体の処理を終了したと判断された後に、ユーザ入力判定ステップ601と出力画像切替ステップ602を追加したものである。
【００５３】
図６において、ユーザ入力判定ステップ601では、入力I/F101gを介して、入力装置105からのユーザ入力を監視し、ユーザが入力装置105を操作した場合に出力画像切替ステップ602へ分岐し、操作していない場合は画像入力ステップ201へ分岐する。
出力画像切替ステップ602では、ユーザの入力操作に応じて画像切替合成装置106を制御し、監視モニタ106へ出力する監視結果画像を切り替える。
【００５４】
図７に、第１の侵入物体監視装置１台と第２の侵入物体監視装置３台とで構成した場合の監視モニタ106へ表示される監視結果の画像の一例を示す。
図７は、監視対象領域内に２人の侵入者が存在する場面で、１台目（監視モニタ103で表示中のカメラ2）と２台目（監視モニタ103で表示中のカメラ3）の第２の侵入物体監視装置が、それぞれの侵入物体の追尾をそれぞれ行ない、３台目（監視モニタ103で表示中のカメラ4）の第２の侵入物体監視装置は待機中（追尾割当待ちステップ301及び追尾割当判定ステップ302を実行）の状態にあることを表す。
【００５５】
監視結果画像701は４台のカメラの監視結果画像を画面を４分割して表示したものである。また、監視結果画像702は第１の侵入物体監視装置の監視結果画像を表示し、視野内に写る２人の侵入者の移動軌跡702aと702bを表示したものである。更に、監視結果画像703は１台目の第２の侵入物体監視装置の監視結果画像を表示し、侵入者の表情や細かな動作などと共に画面左下に侵入者の大まかな軌跡である移動経路703aが確認できるように表示したものである。また更に、監視結果画像704は２台目の第２の侵入物体監視装置の監視結果画像を表示し、監視結果画像703と同様に侵入者の表情や細かな動作などと共に画面左下に侵入者の大まかな軌跡である移動経路704aが確認できるように表示したものである。
【００５６】
これらの監視結果画像は、ユーザからの入力操作がある度に監視結果画像701、702、703、704、701と表示（３台目の第２の侵入物体監視装置は待機中であるためスキップされる）される。
本発明によると、ユーザからの入力に応じて侵入物体の移動経路や細かな表情といった監視業務上重要な情報を監視員等に提供することができる。
【００５７】
【発明の効果】
以上のように本発明によれば、第１の侵入物体監視装置と第２の侵入物体監視装置とをそれぞれに内在するCPUの制御の下でそれぞれ独立に制御することによって、監視処理対象領域内の複数の侵入物体を追尾できるため、侵入物体監視システムの処理量を分散することができる。更に、１台の侵入物体監視装置が侵入物体を見失ったとしても、別の侵入物体監視装置によって侵入物体を検出できていれば、その情報を例えば通信ケーブル等を介して受け取ることにより、その情報を利用して侵入物体の監視を継続することができるため、迅速で効率的かつ正確な侵入物体監視が可能となった。これによって、侵入物体の監視性能を著しく向上させることができるため、侵入物体監視システムの適用範囲を大きく広げることができる。
【図面の簡単な説明】
【図１】 本発明の侵入物体監視システムの構成の一実施例を示すブロック図。
【図２】 本発明の一実施例の処理動作を説明するためフローチャート。
【図３】 本発明の一実施例の処理動作を説明するためフローチャート。
【図４】 本発明の一実施例の処理動作を説明するためフローチャート。
【図５】 本発明の一実施例の処理動作を説明するためフローチャート。
【図６】 本発明の一実施例の処理動作を説明するためフローチャート。
【図７】 本発明の監視モニタに表示される画像の一実施例を示す図。
【図８】 従来の２種類のカメラを用いた監視システムについて説明するための図。
【図９】 侵入物体検出処理方法の原理の一例を説明する図。
【図１０】 第１のカメラが検出した侵入物体を、第２のカメラが追尾する方法を説明するための図。
【図１１】 本発明の一実施例の通信ケーブル107に流れる通信情報の構成を表す一例。
【符号の説明】
101：第１の侵入物体監視装置、 101a：第１のカメラ、 101b：第１の画像入力I/F、 101c：第１のCPU、 101d：第１の画像メモリ、 101e：第１のプログラムメモリ、 101f：第１のワークメモリ、 101g：入力I/F、 101h：第１の通信I/F、 101i：第１の画像出力I/F、 101j：第１の出力I/F、 101k：第１のデータバス、 102：第２の侵入物体監視装置、 102a：第２のカメラ、 102b：第２の画像入力I/F、 102c：第２のCPU、 102d：第２の画像メモリ、 102e：第２のプログラムメモリ、 102f：第２のワークメモリ、 102h：第２の通信I/F、 102i：第２の画像出力I/F、 102j：第２の出力I/F、 102k：第２のデータバス、 102l：雲台制御装置、 102m：カメラ雲台、 103：監視モニタ、 104：警告灯、 106：入力装置、 106：画像切替合成装置、 107：通信ケーブル、 801：侵入物体、 802：第１のカメラ、 803：第２のカメラ、 804：監視対象領域、 805：第２のカメラの視野範囲、 901，902，903：入力画像、 904，905：差分画像、 906，907：二値化画像、 908：論理積画像、 909，910：減算器、 911，912：二値化器、 913：論理積器、 914，915，916：物体、 917，918：領域、 919，920，921：画像、 1001：侵入物体、 1002：第１のカメラ、 1003：第２のカメラ、 1004，1005：視野範囲。
Claims (4)
- 広域を撮像する第１のカメラ装置と、当該第１のカメラ装置の画像から検出した物体の第１の検出情報に基づいて前記物体を捕捉するための第２のカメラ装置を備え、前記第１のカメラ装置の画像を用いて前記物体の追跡を行い、前記物体を捕捉した第２のカメラ装置の画像から検出した前記物体の第２の検出情報に基づいて前記第２のカメラ装置により前記物体の追尾を行う物体検出装置であって、
前記物体の追跡が行えなくなった場合でも、前記第２の検出情報に基づいて同一の前記第１のカメラ装置の画像を用いて前記物体の追跡を継続する、
ことを特徴とする物体検出装置。 - 広域を撮像する第１のカメラ装置と、当該第１のカメラ装置の画像から検出した物体の第１の検出情報に基づいて前記物体を捕捉するための第２のカメラ装置を備え、前記第１のカメラ装置の画像を用いて前記物体の追跡を行い、前記物体を捕捉した第２のカメラ装置の画像から検出した前記物体の第２の検出情報に基づいて前記第２のカメラ装置により前記物体の追尾を行う物体検出装置であって、
前記物体の追尾が行えなくなった場合でも、前記第１の検出情報に基づいて同一の前記第２のカメラ装置により前記物体の追尾を継続する、
ことを特徴とする物体検出装置。 - 広域を撮像する第１のカメラ装置と、当該第１のカメラ装置の画像から検出した物体の第１の検出情報に基づいて前記物体を捕捉するための第２のカメラ装置を備え、前記第１のカメラ装置の画像を用いて前記物体の追跡を行い、前記物体を捕捉した第２のカメラ装置の画像から検出した前記物体の第２の検出情報に基づいて前記第２のカメラ装置により前記物体の追尾を行う物体検出装置を構成するコンピュータに実行させるプログラムであって、
前記物体の追跡が行えなくなった場合でも、前記第２の検出情報に基づいて同一の前記第１のカメラ装置の画像を用いて前記物体の追跡を継続する、
ことを特徴とするプログラム。 - 広域を撮像する第１のカメラ装置と、当該第１のカメラ装置の画像から検出した物体の第１の検出情報に基づいて前記物体を捕捉するための第２のカメラ装置を備え、前記第１のカメラ装置の画像を用いて前記物体の追跡を行い、前記物体を捕捉した第２のカメラ装置の画像から検出した前記物体の第２の検出情報に基づいて前記第２のカメラ装置により前記物体の追尾を行う物体検出装置を構成するコンピュータに実行させるプログラムであって、
前記物体の追尾が行えなくなった場合でも、前記第１の検出情報に基づいて同一の前記第２のカメラ装置により前記物体の追尾を継続する、
ことを特徴とするプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001054387A JP3758511B2 (ja) | 2000-02-28 | 2001-02-28 | 物体検出装置及び物体検出プログラム |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000050853 | 2000-02-28 | ||
| JP2000-50853 | 2000-02-28 | ||
| JP2001054387A JP3758511B2 (ja) | 2000-02-28 | 2001-02-28 | 物体検出装置及び物体検出プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001320699A JP2001320699A (ja) | 2001-11-16 |
| JP3758511B2 true JP3758511B2 (ja) | 2006-03-22 |
Family
ID=26586190
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001054387A Expired - Fee Related JP3758511B2 (ja) | 2000-02-28 | 2001-02-28 | 物体検出装置及び物体検出プログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3758511B2 (ja) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3712690B2 (ja) * | 2002-05-13 | 2005-11-02 | 株式会社リコー | トレーシングサーバ、コンテンツ表示装置及び電子機器 |
| JP2006186458A (ja) * | 2004-12-27 | 2006-07-13 | Secom Co Ltd | 画像信号処理装置及びセンシング装置 |
| JP4752461B2 (ja) * | 2005-11-18 | 2011-08-17 | 日本精機株式会社 | 全方位撮像装置 |
| JP5105972B2 (ja) * | 2007-07-02 | 2012-12-26 | 株式会社日立国際電気 | 座標変換方法及びパラメータ調整方法及び監視システム |
| US11532160B2 (en) | 2016-11-07 | 2022-12-20 | Nec Corporation | Information processing apparatus, control method, and program |
| JP7052833B2 (ja) * | 2020-07-16 | 2022-04-12 | 日本電気株式会社 | 情報処理装置、制御方法、及びプログラム |
| CN112967302B (zh) * | 2021-02-26 | 2024-04-05 | 岭澳核电有限公司 | 核电厂水下安保入侵目标的监测方法 |
-
2001
- 2001-02-28 JP JP2001054387A patent/JP3758511B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001320699A (ja) | 2001-11-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100432870B1 (ko) | 침입물체 감시방법 및 침입물체 감시시스템 | |
| JP3279479B2 (ja) | 映像監視方法及び装置 | |
| US7596240B2 (en) | Object tracking method and object tracking apparatus | |
| KR101696801B1 (ko) | 사물 인터넷(IoT) 카메라 기반의 통합 영상 감시 시스템 | |
| JP6016295B2 (ja) | 監視システム | |
| JP2008035095A (ja) | 監視装置、監視システム、監視方法及びプログラム | |
| KR101596896B1 (ko) | 이종 카메라로부터의 영상을 이용하여 불법 주정차 단속을 수행하는 단속 시스템 및 이를 포함하는 관제 시스템 | |
| JP3852745B2 (ja) | 物体検出方法及び物体検出装置 | |
| JP2001333422A (ja) | 監視装置 | |
| KR101832274B1 (ko) | 영상 촬영에 의한 지능형 방범 시스템 및 그 수행 방법 | |
| JP4578864B2 (ja) | 自動追尾装置及び自動追尾方法 | |
| JP3758511B2 (ja) | 物体検出装置及び物体検出プログラム | |
| JP4250172B2 (ja) | 物体検出方法及び物体検出装置 | |
| JP2002158999A (ja) | 物体検出方法及び物体検出装置並びに侵入物体監視装置 | |
| JP2001245284A (ja) | 侵入物体監視方法および侵入物体監視装置 | |
| KR101619953B1 (ko) | 감시카메라용 자동 다중 추적 영상처리방법 | |
| KR102080456B1 (ko) | 압축영상에 대한 신택스 기반의 ptz 카메라의 객체 추적 제어 방법 | |
| JP2003235035A (ja) | 物体検出方法及びそれを用いた物体検出装置並びに物体追跡方法及びそれを用いた物体追跡装置 | |
| JP2011077617A (ja) | 移動体撮像装置 | |
| JP2005057743A (ja) | 物体追尾方法及び物体追尾装置 | |
| JP3828096B2 (ja) | 物体追跡装置 | |
| KR101155184B1 (ko) | 복수의 촬영수단간 협업을 이용한 영상추적 시스템 | |
| CN116342642A (zh) | 目标跟踪方法、装置、电子设备及可读存储介质 | |
| KR20200010691A (ko) | 이종 카메라를 활용한 인물인식 및 교통통제시스템 | |
| JPH0384698A (ja) | 侵入者監視装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20051003 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051130 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20051226 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20051226 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 3758511 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100113 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100113 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110113 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120113 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120113 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130113 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130113 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140113 Year of fee payment: 8 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |