JP6441067B2 - 監視システム - Google Patents

Description

本発明は、例えば人物、車両などの移動体を監視する監視システムに関する。

人物、車両などの移動体を監視するシステムとしては、例えば下記特許文献１に開示されるものが知られている。この特許文献１では、システム全体にわたる移動体の追跡及び複数のビデオカメラ毎に分散された情報の統括的管理を効率よく行うことを目的として、複数ビデオカメラ毎に分散的に人物追跡するカメラ内追跡手段と、追跡を行うメイン追跡要素と移動体の特徴量をメイン追跡要素に供給するサブ追跡要素とからなり複数のカメラ内追跡手段間で連携して移動体を追跡するカメラ間追跡手段と、複数のカメラ内追跡手段に亙り移動体を探索する移動体探索手段とを具え、監視領域に分散配置された複数のビデオカメラを連携動作させている。

特開２００４−７２６２８号公報

上述した特許文献１に開示されるシステムでは、複数のビデオカメラが監視領域に分散配置された構成なので、監視領域全体をカバーするために多くのビデオカメラが必要となる。そうすると、システムを構築する際のコストが嵩むだけでなく、監視領域の状況によっては死角領域が無くなるようにビデオカメラを増設するのが困難な場合もある。この場合、監視領域全体をカバーするようにビデオカメラが設置できない状況となるので、監視領域においてビデオカメラの死角領域はシステムによる監視の目が届かないことになる。特許文献１によれば、追跡対象が死角領域に移動したとしても再びビデオカメラの撮影範囲に移動すれば追跡対象を追跡できるものの、追跡対象が必ず再びビデオカメラの撮影範囲に移動するとは限らず、また追跡対象が再びビデオカメラの撮影範囲に移動したとしてもビデオカメラの死角領域で不正な行為などを行う可能性もある。このような事態に対応するためには特許文献１のようなシステム以外のその他の対応をとる必要がある。しかしながら、特許文献１ではビデオカメラの死角領域があることによる問題点が考慮されておらず、このため、複数のビデオカメラに追跡対象の監視を委ねるべきではなくその他の対応をとるべき適切なタイミングを容易に把握することができなかった。

そこで、本発明は上記問題点に鑑みてなされたものであり、監視領域内においてビデオカメラに追跡対象の追跡を委ねるべきではない状況を適切なタイミングで把握することができる監視システムを提供することを目的とするものである。

上記した目的を達成するために、本発明に係る監視システムは、複数の監視カメラを備えた監視システムであって、
前記複数の監視カメラに関する位置情報と撮影可能範囲とを記憶する記憶部と、
前記監視カメラごとに撮影される画像から所定の追跡対象を検出して追跡する監視カメラ追跡部と、
当該監視カメラ追跡部の追跡結果に基づいて前記複数の全ての監視カメラにおいて前記追跡対象が前記撮影可能範囲から逸脱したか否かを判定する逸脱判定部と、
前記逸脱を判定すると、最後に前記追跡対象を検出した前記監視カメラ以外の他の監視カメラを前記位置情報から抽出し、最後に前記追跡対象を検出した前記監視カメラから前記他の監視カメラそれぞれまで前記追跡対象が移動するのに要する予想移動時間又は予想移動距離を算出し、当該算出した予想移動時間のうち最長の予想移動時間又は前記算出した予想移動距離のうち最長の予想移動距離から許容時間を設定する許容時間設定部と、
前記逸脱を判定したときからの経過時間が前記許容時間を経過しても、前記複数の監視カメラのいずれにおいても前記追跡対象を検出していないときに当該追跡対象を追跡不能と判定し、この旨を出力する追跡不能判定部と、
を備えたことを特徴とする。

また、本発明に係る監視システムは、前記追跡不能と判定した旨の出力がなされると、最後に前記追跡対象を検出した前記監視カメラの位置から前記追跡対象が存在する予測エリアを推定する予測エリア推定部と、
当該推定した予測エリアを含んで撮影できるように、上空から撮影する撮像部を有する飛行装置を制御する飛行装置制御部と、
を備えた構成としてもよい。

さらに、本発明に係る監視システムは、前記追跡不能と判定した旨の出力がなされると、最後に前記追跡対象を検出した前記監視カメラの位置から、前記追跡対象が存在する予測エリアを、前記追跡対象を検出しなかった前記他の監視カメラの前記撮影可能範囲を除外して推定する予測エリア推定部と、
この推定した予測エリアを表示部に表示する表示制御部と、
を備えた構成としてもよい。

また、本発明に係る監視システムは、前記飛行装置が移動型飛行装置であり、
前記飛行装置制御部は、前記追跡不能と判定した旨の出力がなされると、前記移動型飛行装置を、前記予測エリアを含んで撮影できる目標位置へ移動制御してもよい。

そして、本発明に係る監視システムは、前記予測エリア推定部が、前記予測エリアの推定を繰り返し実行し、
前記飛行装置制御部が、前記実行の結果に応じて前記目標位置を再設定してもよい。

また、本発明に係る監視システムは、前記飛行装置が複数の係留型飛行装置であり、
前記飛行装置制御部は、前記追跡不能と判定した旨の出力がなされると、前記予測エリアを含んで撮影可能な係留型飛行装置を選択して撮影制御してもよい。

さらに、本発明に係る監視システムは、前記複数の係留型飛行装置の中に前記予測エリアを撮影可能なものが無いときは、前記予測エリアの推定を継続し、当該予測エリアを撮影可能な係留型飛行装置が見つかったときに選択してもよい。

本発明の監視システムによれば、複数の監視カメラに関する位置情報と撮影可能範囲とを記憶部に記憶させておき、監視カメラ追跡部は、監視カメラごとに撮影される画像から所定の追跡対象を監視カメラ追跡部が検出して追跡し、逸脱判定部は、全ての監視カメラで追跡対象が撮影可能範囲から逸脱したか否かを判定する。そして、許容時間設定部は、監視カメラ追跡部が撮影可能範囲からの逸脱を判定すると、最後に追跡対象を検出した監視カメラ以外の他の監視カメラを位置情報から抽出し、最後に追跡対象を検出した監視カメラから他の監視カメラそれぞれまで追跡対象が移動するのに要する予想移動時間又は予想移動距離を算出し、この算出した予想移動時間のうち最長の予想移動時間又はその算出した予想移動距離のうち最長の予想移動距離から許容時間を設定する。そして、追跡不能判定部は、撮影可能範囲からの逸脱を判定したときからの経過時間が許容時間を経過しても、複数の監視カメラのいずれにおいても追跡対象を検出していないときに追跡不能と判定して、その旨を出力する。かかる構成により、監視員が複数の監視カメラの画像を常時確認する等しなくても、複数の監視カメラに追跡対象の追跡を委ねるべきではない状況を適切なタイミングで把握することができる。

さらに、本発明の監視システムによれば、予測エリア推定部は、追跡不能判定部から追跡対象を追跡不能と判定した旨の出力がなされると、最後に追跡対象を検出した監視カメラの位置から追跡対象が存在する予測エリアを推定する。そして、飛行装置制御部は、予測エリア推定部が推定した予測エリアを含んで撮影できるように、上空から撮影する撮像部を有する飛行装置を制御する。かかる構成により、複数の監視カメラに追跡対象の追跡を委ねるべきではなくなると、最後に追跡対象を検出した監視カメラの位置から推定した予測エリアに向けて飛行装置を制御し、追跡対象が存在する可能性の高い予測エリアを飛行装置が上空から撮影することができる。

また、本発明の監視システムによれば、予測エリア推定部は、追跡不能判定部から追跡対象を追跡不能と判定した旨の出力がなされると、最後に追跡対象を検出した監視カメラの位置から、追跡対象が存在する予測エリアを、追跡対象を検出しなかった他の監視カメラの撮影可能範囲を除外して推定した予測エリアを表示部に表示する。かかる構成により、追跡対象が存在し得ない余計な情報を省いて推定した追跡対象が存在し得る予測エリアを表示させて監視員に知らせることができる。

また、本発明の監視システムによれば、飛行装置が移動型飛行装置の場合、飛行装置制御部は、追跡不能判定部から追跡不能と判定した旨の出力がなされると、移動型飛行装置を予測エリアへ移動制御する。かかる構成により、複数の監視カメラに追跡対象の追跡を委ねるべきではなくなると、移動型飛行装置を速やかに予測エリアに向けて移動制御することができる。

さらに、本発明の監視システムによれば、予測エリア推定部は、予測エリアの推定を繰り返し実行し、飛行装置制御部は、予測エリア推定部が実行する予測エリアの推定の結果に応じて移動型飛行装置を移動制御する目標位置を再設定する。かかる構成により、時間の経過とともに変化する予測エリアを確実に撮影できるように移動型飛行装置を移動制御することができる。

また、本発明の監視システムによれば、飛行装置が複数の係留型飛行装置の場合、飛行装置制御部は、追跡不能判定部から追跡不能と判定した旨の出力がなされると、予測エリアを撮影可能な係留型飛行装置を選択して撮影制御する。かかる構成により、予測エリアを撮影可能な係留型飛行装置を選択して確実に撮影を行うことができる。

さらに、本発明の監視システムによれば、飛行装置として、複数の係留型飛行装置の中に予測エリアを撮影可能なものが無いときは、予測エリア推定部による予測エリアの推定を継続し、予測エリアを撮影可能な係留型飛行装置が見つかったときに、その係留型飛行装置を選択する。かかる構成により、時間経過とともに変化する予測エリアに応じて撮影可能なものが見つかった時点で、係留型飛行装置が上空から予測エリアの撮影を行うことができる。

本発明に係る監視システムの全体構成を示す概略ブロック図である。 本発明に係る監視システムが監視する監視領域の一例を示す図である。 本発明に係る監視システムにおいて監視カメラの画像と飛行装置の画像から追跡対象の類似度を算出するために用いられる特徴情報の一例を示す図である。 （ａ）〜（ｄ）予測エリアの推定処理に関する説明図である。 制御信号によって制御される監視カメラの動作例である。 本発明に係る監視システムによる追跡機能の動作フローチャート（１）である。 本発明に係る監視システムによる追跡機能の動作フローチャート（２）である。 図６における許容時間設定処理のフローチャートである。 図６における追跡不能判定処理のフローチャートである。 図７における予測エリア推定処理のフローチャートである。 図７における飛行装置制御処理のフローチャートである。 図７における対象候補検出処理のフローチャートである。 図７における連携処理のフローチャートである。

以下、本発明を実施するための形態について、添付した図面の図１〜１３を参照しながら詳細に説明する。

図１に示すように、本発明に係る監視システム１は、監視カメラ２、飛行装置３、追跡処理装置としてのセンタ装置４を備えて構築される。

（監視カメラの構成について）
監視カメラ２は、地上から所定の撮影範囲を撮影する。本例において、監視カメラ２が地上から撮影する高度は、追跡対象（例えば不審者、不審車両など）を特定するための後述する複数種類の特徴情報の中で最も重要とされる最重要情報（追跡対象が例えば人物であれば顔画像、車両であれば自動車登録番号標（ナンバープレート）画像）が認識できる地上から比較的低い高度である。これにより、追跡対象を側方から撮影し、撮影した画像から追跡対象を把握しやすい側方画像、つまり、重力の方向と略直角となる方向（略水平方向）から撮影した画像を主に得ることができる。

監視カメラ２は、監視領域の所定箇所に固定して複数設置されている。図２は監視カメラ２の設置例であり、イベント会場における監視領域の一部を示している。図２の例では、固定の撮影範囲Ｅ１，Ｅ２，Ｅ３，Ｅ４，Ｅ５による監視カメラ２（２ａ，２ｂ，２ｃ，２ｄ，２ｅ）がイベント会場となるコロシアムのゲート周りの４箇所とゲートに向かう道路の途中の１箇所に設置され、撮影範囲Ｅ６が可変可能な撮影可能範囲Ｅ７を有するパンチルトズームカメラからなる監視カメラ２（２ｆ）が駐車場近傍の１箇所に設置されている。また、監視カメラ２ａと監視カメラ２ｃは、互いの撮影範囲Ｅ１，Ｅ３の一部が重複するように設置されている。

監視カメラ２は、図１に示すように、カメラ部２１、制御部２２、通信部２３を備えている。

カメラ部２１は、所定の撮影範囲を撮影する本体をなし、撮像部２１ａ、方向制御部２１ｂ、画像データ生成部２１ｃを有している。

撮像部２１ａは、例えばＣＣＤ素子やＣ−ＭＯＳ素子などの撮像素子や光学部品などを含んで構成される。撮像部２１ａは、監視領域内の所定の撮影範囲を所定時間おきに撮像し、撮像した画像を画像データ生成部２１ｃに順次出力している。

尚、撮像部２１ａは、監視カメラ２がパンチルトズームカメラとして構成される場合、センタ装置４からの制御信号の撮影指示に基づく制御部２２の制御により、ズーム位置が制御される。このズーム位置に基づく焦点距離の情報は画像データ生成部２１ｃに出力される。

方向制御部２１ｂは、監視カメラ２がパンチルトズームカメラとして構成される場合に必要なものであり、センタ装置４からの制御信号の撮影指示に基づく制御部２２の制御により、水平方向及び垂直方向の角度が制御される。この水平方向及び垂直方向の角度情報は、予め設定された監視カメラ２の撮影方向からの変位角度であり、画像データ生成部２１ｃに出力される。

画像データ生成部２１ｃは、撮像部２１ａが撮像した画像に対し、必要に応じて撮影時における焦点距離や水平方向及び垂直方向の角度情報（撮影方向）を付加した画像データを生成する。なお、監視カメラ２がパンチルトズームカメラとして構成される場合には、予め設定された監視カメラ２の撮影方向を上述の変位角度で補正した撮影方向を画像データに付加する。

制御部２２は、カメラ部２１の画像データ生成部２１ｃが生成した画像データを所定のフレーム周期で所定時間おきに通信部２３を介してセンタ装置４に送信制御する。また、制御部２２は、センタ装置４からの制御信号を通信部２３を介して受信したときに、この制御信号の撮影指示に従ってカメラ部２１の撮像部２１ａや方向制御部２１ｂを制御する。

通信部２３は、有線又は無線により通信を行うための通信インタフェースであり、制御部２２の制御により、通信回線を介してセンタ装置４との間で有線又は無線により通信し、データや信号の送受信を行う。具体的には、画像データ生成部２１ｃが生成した画像データを所定のフレーム周期で所定時間おきにセンタ装置４に送信する。また、撮像部２１ａや方向制御部２１ｂを制御するためのセンタ装置４からの制御信号を受信する。

尚、監視カメラ２は、図２に示すように、監視領域の所定箇所に固定して複数設置されるものに限定されない。監視カメラ２は、地上から比較的低い高度において撮影可能なものであってよく、低い高度で撮影可能な、例えば各種車両に搭載した車載用カメラ、撮像部を有する小型移動飛行ロボットやドローンなどのように監視領域を移動できるものであってもよい。また、監視カメラ２が監視領域内を移動できる場合には、少なくとも１つの監視カメラ２が設けられた構成であってもよい。そして、監視カメラ２が監視領域を移動する場合には、撮影時における監視カメラ２の位置情報が移動に伴って変化するため、ＧＰＳからなる測位部を監視カメラ２に備え、地球上での監視カメラ２の３次元的位置（現在位置）を示す位置情報（緯度、経度、高さ）を画像データ生成部２１ｃに出力する。また、監視カメラ２が監視領域を移動する場合は、撮影時における監視カメラ２の撮影方向も移動による姿勢変動によって変化するため、後述する姿勢検出部３５と同様の構成を備え、画像データ生成部２１ｃは、これにより得られた姿勢情報により撮影方向を補正する。そして、画像データ生成部２１ｃからは、監視カメラ２の撮影時における位置情報及び撮影時における監視カメラ２の撮影方向も付加した画像データがセンタ装置４に送信される。

（飛行装置の構成について）
飛行装置３は、センタ装置４からの制御信号の指示によって移動制御が可能な移動型飛行装置、すなわち、移動型飛行船、小型移動飛行ロボットやドローン、人工衛星などである。又は電源供給及び通信可能な状態で本体がケーブルを介して地上の係留装置と繋がれた係留型飛行装置（例えば係留型飛行船など）であってもよい。さらに、これらの組合せによって構成してもよい。

尚、飛行装置３が係留型飛行装置の場合には、監視カメラ２で撮影できない死角領域を包含するように、監視領域の規模に合わせた数だけ設けるのが好ましい。

飛行装置３は、図１に示すように、カメラ部３１、推進部３２、方向舵３３、測位部３４、姿勢検出部３５、制御部３６、無線通信部３７を備えている。

カメラ部３１は、飛行装置３の本体に搭載され、上空から監視カメラ２よりも広い撮影範囲で撮影を行っている。本例において、飛行装置３のカメラ部３１が撮影する高度は、監視カメラ２と比較して相対的に高い高度であって、追跡対象を特定するための後述する複数種類の特徴情報の中で最も重要とされる最重要情報の認識が困難な高度であるが、追跡対象を上方から俯瞰して撮影できる高度である。これにより、撮影した画像から追跡対象の水平面上における周囲の状況が把握しやすい上方画像、つまり、重力の方向と略同方向となる略鉛直方向から撮影した画像を主に得ることができる。

カメラ部３１は、撮像部３１ａ、方向制御部３１ｂ、画像データ生成部３１ｃを有している。

撮像部３１ａは、例えばＣＣＤ素子やＣ−ＭＯＳ素子などの撮像素子や光学部品などを含んで構成されるものであり、所定の撮影範囲を上空から所定時間おきに撮像し、撮像した画像を画像データ生成部３１ｃに順次出力する。

尚、撮像部３１ａは、カメラ部３１がパンチルトズームカメラとして構成される場合、センタ装置４からの制御信号の撮影指示に基づく制御部３６の制御により、ズーム位置が制御される。このズーム位置に基づく焦点距離の情報は画像データ生成部３１ｃに出力される。

方向制御部３１ｂは、カメラ部３１がパンチルトズームカメラとして構成される場合に必要なものであり、センタ装置４からの制御信号の撮影指示に基づく制御部３６の制御により、水平方向及び垂直方向の角度が制御される。この水平方向及び垂直方向の角度情報は、予め設定されたカメラ部３１の向きに相当する撮影方向からの変位角度であり、画像データ生成部３１ｃに出力される。

画像データ生成部３１ｃは、撮像部３１ａが撮像した画像に対し、撮影時における焦点距離や水平方向及び垂直方向の角度情報（撮影方向）を必要に応じて付加した画像データを生成する。また、後述の測位部３４にて取得した撮影時における位置情報、及び後述の姿勢検出部３５にて得られた撮影時における姿勢情報から補正した撮影方向を必要に応じて付加した画像データを生成する。

推進部３２は、エンジンの動力をプロペラに伝達して回転させることにより飛行装置３に推進力を与えるものであり、センタ装置４からの制御信号の飛行指示に従って制御部３６により制御される。

方向舵３３は、飛行装置３の操縦に用いる動翼であり、センタ装置４からの制御信号の飛行指示に従って制御部３６により制御される。

測位部３４は、ＧＰＳ（Global Positioning System ）からなり、地球上での飛行装置３の３次元的位置（現在位置）を示す位置情報（緯度、経度、高さ）を制御部３６に出力する。この位置情報は画像データ生成部３１ｃへも出力する。

姿勢検出部３５は、例えばジャイロコンパスとサーボ加速度計を備え、飛行装置３の方位角、ピッチ角、ロール角を計測して飛行装置３の姿勢を検出し、この検出により得られる姿勢情報を制御部３６に出力する。この姿勢情報は画像データ生成部３１ｃへも出力する。

制御部３６は、カメラ部３１の画像データ生成部３１ｃが生成した画像データを所定のフレーム周期で所定時間おきにセンタ装置４に送信するように無線通信部３７を制御する。また、制御部３６は、飛行制御部３６ａとカメラ制御部３６ｂを有する。飛行制御部３６ａは、センタ装置４からの制御信号を無線通信部３７を介して受信したときに、この制御信号の飛行指示に従って推進部３２や方向舵３３を制御する。カメラ制御部３６ｂは、センタ装置４からの制御信号を無線通信部３７を介して受信したときに、この制御信号の撮影指示に従ってカメラ部３１の撮像部３１ａや方向制御部３１ｂを制御する。

無線通信部３７は、制御部３６の制御により、センタ装置４との間で無線通信し、データや信号の送受信を行う。具体的には、画像データ生成部３１ｃが生成した画像データを所定フレーム周期で所定時間おきにセンタ装置４に送信する。また、撮像部３１ａ、方向制御部３１ｂ、推進部３２、方向舵３３を制御するため、センタ装置４からの制御信号（撮影指示、飛行指示）を受信する。

（センタ装置の構成について）
追跡処理装置としてのセンタ装置４は、通信部４１、無線通信部４２、制御部４３、記憶部４４、操作部４５、表示部４６を備えている。

通信部４１は、有線又は無線により通信を行うための通信インタフェースであり、制御部４３の制御により、通信回線を介して複数の監視カメラ２との間で相互に通信を行う。具体的には、複数の監視カメラ２から所定フレーム周期で所定時間おきに送信される画像データを受信する。また、制御対象となる監視カメラ２に対し、撮像部２１ａや方向制御部２１ｂを制御して撮影指示するための制御信号を送信する。

無線通信部４２は、制御部４３の制御により、飛行装置３との間で相互に無線通信を行う。具体的には、飛行装置３から所定フレーム周期で所定時間おきに送信される画像データを受信する。また、飛行装置３の撮像部３１ａや方向制御部３１ｂを制御して撮影指示するための制御信号と、飛行装置３の推進部３２や方向舵３３を制御して飛行指示するための制御信号を必要に応じて送信する。

制御部４３は、後述する追跡対象の追跡機能を実行するための構成として、対象特徴抽出部４３ａ、監視カメラ追跡部４３ｂ、逸脱判定部４３ｃ、許容時間設定部４３ｄ、追跡不能判定部４３ｅ、予測エリア推定部４３ｆ、飛行装置制御部４３ｇ、対象候補検出部４３ｈ、連携処理部４３ｉ、表示制御部４３ｊを備えている。

対象特徴抽出部４３ａは、追跡対象を特定するための複数種類の特徴情報を抽出しており、抽出した特徴情報を追跡対象の特徴情報（追跡対象特徴）として記憶部４４に記憶させる。

ここで、複数種類の特徴情報は、追跡対象が例えば人物である場合、図３に示すように、顔画像、年齢、性別、髪色、上半身衣服色、下半身衣服色、所持品種別、所持品色、身長、体型からなる。

これらの特徴情報の抽出方法としては、公知の手法を用いればよいが、例えば次のようにして抽出すればよい。

顔画像の抽出は、人物を検出するための識別器により、指定された画像から人物領域を抽出し、この抽出した人物領域内で顔を検出するための識別器を用いて顔領域を抽出する。そして、この顔領域を顔画像の特徴情報として抽出する。

年齢の抽出は、年代ごとの一般的な基準顔画像を、その基準顔画像の年代と対応づけて予め記憶部４４に記憶しておき、これらの基準顔画像と、顔画像の抽出の際に抽出した顔画像とを比較して類似度を算出する。そして、最も類似度が高い基準顔画像に対応づけて記憶されている年代を、年齢の特徴情報として抽出する。

性別の抽出は、性別ごとの一般的な基準顔画像を、その基準顔画像の性別と対応づけて予め記憶部４４に記憶しておき、これらの基準顔画像と、顔画像の抽出の際に抽出した顔画像とを比較して類似度を算出する。そして、最も類似度が高い基準顔画像に対応づけて記憶されている性別を、性別の特徴情報として抽出する。

髪色の抽出は、上記顔画像の抽出の際に抽出した人物領域内で、頭部を検出するための識別器により頭部領域を抽出する。この頭部領域から、顔画像の抽出の際に抽出した顔領域を除いた領域を髪領域とし、髪領域における色情報のヒストグラムを作成し、これを髪色の特徴情報として抽出する。

上半身衣服色と下半身衣服色の抽出は、顔画像の抽出の際に抽出した人物領域において、高さ方向で上半身衣服と下半身衣服に相当する領域（例えば地上からの比率を下半身衣服：上半身衣服：頭部を４：３：１とする、など）から色情報のヒストグラムを作成し、これを上半身衣服色の特徴情報と下半身衣服色の特徴情報として抽出する。

所持品種別の抽出は、所持品の種別（例えば鞄、リュック、傘など）を検出するための識別器により所持品の有無と種別を判定し、判定した有無と種別を所持品種別の特徴情報として抽出する。

所持品色の抽出は、所持品種別の抽出の際に抽出した所持品領域の色情報のヒストグラムを作成し、これを所持品色の特徴情報として抽出する。

身長の抽出は、画像データに含まれる、監視カメラ２の撮影位置、焦点距離、俯角などの撮影パラメータ（監視カメラ情報）を参照し、顔画像の抽出の際に抽出した人物領域の位置や大きさから身長を算出し、これを身長の特徴情報として抽出する。

体型の抽出は、顔画像の抽出の際に抽出した人物領域の高さ方向の長さと幅方向の長さの比率を算出し、これを体型の特徴情報として抽出する。

なお、これらの追跡対象の特徴情報の入力方法としては、監視員が必要に応じて操作部４５を操作して、記憶部４４に記憶保存された監視カメラ２の画像から人物に当たる部分を指定すると、対象特徴抽出部４３ａが指定された画像から上述の方法で特徴情報を抽出して追跡対象特徴として記憶部４４に記憶させる。また、監視員の指定操作によらず、追跡対象が予め決まっている場合には、その追跡対象の対象特徴を予め記憶部４４に記憶させておく。

監視カメラ追跡部４３ｂは、図６の破線で囲まれる後述の監視カメラ追跡処理を実行し、複数の監視カメラ２毎に順次撮影される画像から、対象特徴抽出部４３ａにて抽出した追跡対象特徴を用いて、所定の追跡対象を検出し、検出した追跡対象を追跡する監視を行う。

監視カメラ追跡処理は、複数の全ての監視カメラ２の画像に対して実行される処理であり、監視カメラ２で撮影した画像から、識別器により画像中の人物領域を抽出し、抽出した人物領域ごとに前述した対象特徴抽出部４３ａが行う特徴の抽出方法と同様にして複数種類の特徴情報を抽出し、この特徴情報と、対象特徴抽出部４３ａにて抽出した追跡対象特徴との対比により追跡対象の検出を対象検出処理として行う。

具体的に図３の例で挙げている特徴情報を用いた追跡対象の検出について説明すると、まず、これら複数種類の特徴情報は、個々の特徴情報について追跡対象の検出における信頼性を考慮した重み付け係数が設定されている。例えば、最も高精度な照合が可能な顔画像を最重要特徴情報とし、この顔画像の重み付け係数を一番高く設定し、高精度な照合が難しい身長や体型の重み付け係数は低く設定する、などとすることができる。

そして、特徴情報の種別ごとに、監視カメラ追跡部４３ｂが抽出した特徴情報と対象特徴抽出部４３ａで抽出した追跡対象特徴とを比較し、類似度を算出する。

次に、複数種類の特徴情報ごとに算出した類似度に対し、上述した重み付け係数を掛け合わせる。そして、特徴情報の種類毎の類似度に重み付け係数を掛け合わせて全て足し合わせたものを全体類似度とする。次に、予め記憶部４４に記憶された追跡対象と見なせる追跡対象検出閾値（例えば類似度９０％など）と全体類似度とを比較し、全体類似度が追跡対象検出閾値を超えていると判定したときに、追跡対象として検出する。

また、監視カメラ追跡処理では、上述した対象検出処理により追跡対象を検出すると、監視カメラ２が追跡対象を追跡中であるか否かを示す追跡フラグをＯＮにする。この追跡フラグは、監視カメラ２ごとに対応付けられて記憶部４４に記憶されている。なお、このときの画像は、表示制御部４３ｊの制御により表示部４６に表示される。

さらに、監視カメラ追跡処理では、対象追跡処理として、所定のフレーム周期で所定時間おきに送信される監視カメラ２からの画像データにおいて、上述した対象検出処理で検出した追跡対象を追跡する処理を行う。この追跡処理は公知の手法を用いればよいが、例えば、現在の画像と１フレーム前の画像とのフレーム間差分をとることで画像中における変化領域を抽出し、対象検出処理で検出した追跡対象の位置に相当する変化領域を特定する。そして、次に新たな画像データを取得した際も同様にフレーム間差分を行って変化領域を抽出し、この抽出した変化領域が、前回追跡対象に相当する変化領域として特定した変化領域と、その位置、大きさ、形状などの点において同一の物体とみなせるかを判定し、同一とみなせる場合には、その変化領域を今回追跡対象に相当する変化領域として特定する。これらの処理を新たな画像データを取得する度に繰り返すことで、監視カメラ２の画像中において追跡対象を追跡してゆくことができる。なお、この対象追跡処理においても、上述した対象検出処理で行っているような特徴情報をさらに用いて追跡対象を追跡してもよい。

そして、上述した対象追跡処理により、追跡対象が監視カメラ２の撮影可能範囲外に移動したか否かを判別し、追跡対象が監視カメラ２の撮影可能範囲外に移動して撮影可能範囲から逸脱したと判定すると、その監視カメラ２の追跡フラグをＯＦＦにする。

さらに、監視カメラ追跡処理では、追跡対象を検出するための追跡対象検出閾値を緩く変更するための制御信号の入力を後述の連携処理部４３ｉから受けると、その制御信号に応じて追跡対象検出閾値を緩く（例えば類似度７０％など）する。

逸脱判定部４３ｃは、上述した監視カメラ追跡処理にて制御される追跡フラグを、記憶部４４を参照して監視する。逸脱判定部４３ｃは、各監視カメラ２の追跡フラグが全てＯＦＦになるか否かを判定することで、複数の全ての監視カメラ２において追跡対象が撮影可能範囲から逸脱したか否かを判定している。また、逸脱判定部４３ｃは、追跡フラグがＯＮとなっていた監視カメラ２のうち最後にＯＦＦに変化した監視カメラ２を、最後に追跡対象を検出した監視カメラとして特定する。

許容時間設定部４３ｄは、逸脱判定部４３ｃが撮影可能範囲からの逸脱を判定すると、最後に追跡対象を検出した監視カメラ２の所定範囲（例えば１００ｍ）内の他の監視カメラ２を、記憶部４４に記憶された監視カメラ情報の位置情報から抽出している。そして、許容時間設定部４３ｄは、最後に追跡対象を検出した監視カメラ２から他の監視カメラ２まで追跡対象が移動するのに要する予想移動時間をそれぞれ算出し、この算出した予想移動時間のうち最長の予想移動時間に猶予時間を加えた許容時間を設定する。なお、予想移動時間の算出は、例えば、追跡対象が人である場合には、人の一般的な移動速度と、最後に追跡対象を検出した監視カメラ２から他の監視カメラ２までの距離とから算出することができる。また、猶予時間は、監視ポリシーに応じて適時定められた時間である。

なお、他の監視カメラ２を抽出する際の所定範囲は、最後に追跡対象を検出した監視カメラ２の位置から所定距離を半径とする円を描いた領域を所定範囲としてもよい。また、追跡対象が例えば車両の場合は車両の通行が可能な領域（道路や駐車場など）を後述する監視空間情報に基づいて特定して所定範囲とし、この所定範囲を撮影可能範囲に含む監視カメラ２を抽出するなどとしてもよい。さらには、監視カメラ情報に記憶されている全ての監視カメラ２を抽出してもよい。

追跡不能判定部４３ｅは、監視カメラ追跡部４３ｂによる追跡対象の追跡が不能になったか否かを判定する。さらに説明すると、追跡不能判定部４３ｅは、逸脱判定部４３ｃが撮影可能範囲からの逸脱を判定したときからの経過時間が許容時間設定部４３ｄで設定された許容時間を経過するまでに、どの監視カメラ２でも追跡対象を検出していなければ、追跡対象の追跡ができない、つまり複数の監視カメラ２に追跡対象の追跡を委ねるべきではないとして、追跡対象を追跡不能と判定し、追跡不能判定信号を出力する。

予測エリア推定部４３ｆは、追跡不能判定部４３ｅが追跡不能判定信号を出力したときに、最後に追跡対象を検出した監視カメラ２の位置から、追跡対象を検出しなかった監視カメラ２の撮影可能範囲を除外して追跡対象が存在する予測エリアを推定する予測エリア推定処理を実行する。

さらに説明すると、予測エリア推定処理では、最初に追跡対象の移動範囲を算出する。具体的には、監視カメラ２が最後に追跡対象を検出した位置が図４（ａ）の×印で示す位置Ｐあったとする。この場合、×印の位置Ｐを基準として、追跡対象が最大移動できる移動範囲を追跡対象の移動速度と経過時間とを掛け合わせた値から算出すると、図４（ａ）における斜線部分が移動範囲Ｅ０となる。次に、算出した移動範囲Ｅ０内で追跡対象を検出していない監視カメラ２を、記憶部４４に記憶された監視カメラ情報の位置情報から抽出する。図４（ｂ）の例では、カメラのアイコンで示された５つの監視カメラ２ａ，２ｂ，２ｃ，２ｄ，２ｅが抽出される。次に、抽出した各監視カメラ２ａ，２ｂ，２ｃ，２ｄ，２ｅの撮影範囲Ｅ１，Ｅ２，Ｅ３，Ｅ４，Ｅ５を、記憶部４４に記憶された監視カメラ情報の撮影範囲から読み出す。図４（ｂ）の例では、カメラのアイコンで示された５つの監視カメラ２ａ，２ｂ，２ｃ，２ｄ，２ｅから引き出された斜線部分が各監視カメラ２ａ，２ｂ，２ｃ，２ｄ，２ｅの撮影範囲Ｅ１，Ｅ２，Ｅ３，Ｅ４，Ｅ５となる。そして、追跡対象の移動方向（図４（ｃ）の矢印ｍ方向）を加味して、図４（ａ）の追跡対象の移動範囲Ｅ０と、図４（ｂ）の監視カメラ２ａ，２ｂ，２ｃ，２ｄ，２ｅの撮影範囲Ｅ１，Ｅ２，Ｅ３，Ｅ４，Ｅ５と、後述する追跡対象が移動することができない移動不可能領域とから追跡対象の移動不能領域Ｅ１０を特定する。図４（ｃ）の例では、斜線部分が追跡対象の移動不能領域Ｅ１０となる。そして、図４（ａ）の追跡対象の移動範囲Ｅ０と図４（ｃ）の追跡対象の移動不能領域Ｅ１０とを重ね合わせて重複しない部分を予測エリアＥ１１として推定する。図４（ｄ）の例では、斜線部分が予測エリアＥ１１となる。

尚、上述した監視カメラ追跡部４３ｂによる対象検出処理を追跡機能がＯＮしている間、常時行っている。また、予測エリア推定部４３ｆは、上述した予測エリア推定処理を監視カメラ追跡部４３ｂにて追跡対象を検出するまで継続して実行する。このため、予測エリア推定処理を実行している場合にはどの監視カメラ２でも追跡対象を検出していないことになる。従って、移動範囲内にある監視カメラ２を抽出し、その撮影範囲を含む移動不能領域Ｅ１０を移動範囲Ｅ０から除外して予測エリアＥ１１とすることが、追跡対象を検出しなかった監視カメラ２の撮影可能範囲を除外して追跡対象が存在する予測エリアを推定することとなる。

飛行装置制御部４３ｇは、飛行装置３が移動型飛行装置の場合、追跡不能判定部４３ｅが追跡不能判定信号を出力したときに、予測エリア推定部４３ｆが推定した予測エリアを含んで撮影できる目標位置まで移動型飛行装置を移動制御するための飛行指示の制御信号を出力する。

尚、目標位置は、予測エリア推定部４３ｆが推定した予測エリアの外接矩形領域の外側に所定幅の余裕を持たせた領域の重心における所定高度に設定される。

また、飛行装置制御部４３ｇは、予測エリア推定部４３ｆが予測エリアの推定を繰り返し実行したときに、その実行の結果に応じて目標位置を再設定し、この再設定された目標位置まで飛行装置３を移動制御するための飛行指示の制御信号を出力する。

さらに、飛行装置制御部４３ｇは、飛行装置３が複数の係留型飛行装置の場合、追跡不能判定部４３ｅが追跡不能判定信号を出力したときに、予測エリア推定部４３ｆが推定した予測エリアを撮影可能な係留型飛行装置を選択し、選択した係留型飛行装置が予測エリアを撮影するように係留型飛行装置の飛行状態を制御するための制御信号を出力する。

飛行装置制御部４３ｇは、推定された予測エリアを撮影可能な係留型飛行装置が無いと判定しても、その後に推定された予測エリアにおいて撮影可能な係留型飛行装置を検出すれば、その検出した係留型飛行装置を選択し、選択した係留型飛行装置が予測エリアを撮影するように係留型飛行装置の飛行状態を制御するための制御信号を出力する。

対象候補検出部４３ｈは、追跡不能判定部４３ｅが追跡不能判定信号を出力した場合に、飛行装置３のカメラ部３１にて撮影された画像から追跡対象の候補を検出する対象候補検出処理を実行する。

対象候補検出処理では、飛行装置３のカメラ部３１より取得した画像データの画像から特徴検索を行っている。特徴検索は、前述した監視カメラ２の対象検出処理の判定基準よりも緩い判定基準による特徴情報を用いた類似度の算出により、追跡対象の候補を検索している。

特徴検索では、監視カメラ２の対象検出処理の判定基準で用いる特徴情報より少なく、その複数種類の特徴情報の一部を用いる判定基準となっている。具体的には、図３に×印で示すように、追跡対象が人物の場合、監視カメラ２の対象検出処理の判定基準で用いられる顔画像、年齢、性別、身長、体型の特徴情報を用いず、○印で示す髪色、上半身衣服色、下半身衣服色、所持品種別、所持品色に限定した特徴情報が用いられる。そして、前述した対象検出処理と同様の手法により、これら特徴情報毎に算出した追跡対象特徴との類似度に重み付け係数を掛け合わせて全て足し合わせたものを全体類似度とし、この全体類似度が予め記憶部４４に記憶された追跡対象の候補と見なせる候補検出閾値（例えば類似度５０％など）を超えていると判定したときに、追跡対象の候補として検出する。尚、上空から撮影した飛行装置３からの画像では追跡対象の特定がしづらいため、候補検出閾値が追跡対象閾値よりも低く設定されている。

連携処理部４３ｉは、後述する図１３の連携処理を実行し、対象候補検出部４３ｈが追跡対象の候補を検出したときに、飛行装置３の画像内に設置されている監視カメラ２を特定し、この特定した監視カメラ２の撮影可能範囲を記憶部４４に記憶された監視カメラ情報から読み出す。そして、全ての追跡対象の候補について、追跡対象の候補の位置が監視カメラ２の撮影可能範囲内にある全ての監視カメラ２を特定し、特定した監視カメラ２に撮影指示の制御信号を通信部４１に出力したり、特定した監視カメラ２が撮影した画像について監視カメラ追跡部４３ｂによる追跡対象検出閾値を緩く設定するための制御信号を監視カメラ追跡部４３ｂに出力する。

図５は追跡対象の追跡を飛行装置３から監視カメラ２に連携するときに、上述した制御信号によって制御される監視カメラ２の動作の一例を示している。図５の×印で示す位置に追跡対象の候補がいる場合、この追跡対象の候補の撮影が可能な監視カメラ２ｆを制御対象として特定し、この制御対象の監視カメラ２ｆに撮影指示の制御信号を出力する。この制御信号は通信部４１を介して監視カメラ２ｆへ送信され、監視カメラ２ｆは、撮影指示の制御信号を受信すると、現在の撮影範囲Ｅ６から追跡対象の候補が撮影できる撮影範囲Ｅ６’に変更するため、制御信号の撮影指示に従って撮像部２１ａのズーム位置と方向制御部２１ｂによる水平方向及び垂直方向の角度を制御する。

表示制御部４３ｊは、表示部４６の表示を制御している。具体的には、後述する追跡対象の追跡機能を実行したときに、予測エリア推定部４３ｆが推定した予測エリアを表示部４６に表示している。予測エリアは、飛行装置３のカメラ部３１が撮影した画像に重畳表示（例えば飛行装置３からの画像に予測エリアを半透明で重ね合わせて表示）することもできる。尚、表示制御部４３ｊは、通常の監視状態において、監視カメラ２や飛行装置３から所定時間おきに送信される画像データに含まれる最新の画像を表示部４６に表示し、監視員がモニタできるようになっている。

記憶部４４は、後述する追跡対象の追跡機能を実行するために必要な各種情報として、追跡対象特徴、追跡フラグ、経過時間、追跡用情報、監視カメラ情報、飛行装置情報、監視空間情報、画像データなどを記憶している。

上記各種情報について説明すると、追跡対象特徴は、対象特徴抽出部４３ａにて抽出した追跡対象の特徴情報を示す情報である。例えば追跡対象が人物の場合、顔画像、年齢、性別、髪色、上半身服装色、下半身服装色、所持品種別、所持品色、身長、体型、移動方向などが対象特徴となる。

追跡フラグは、監視カメラ２において追跡対象を追跡中か否かを示すものであり、監視カメラ２ごとに記憶されている。追跡フラグは、追跡中であればＯＮ、追跡中でなければＯＦＦとなる。

経過時間は、複数の監視カメラ２の追跡フラグが全てＯＦＦとなった時から経過した時間を示す情報である。

追跡用情報は、同一の監視カメラ２において追跡対象を追跡するための情報であり、追跡対象の画像内における位置、大きさ、形状などの情報である。

監視カメラ情報は、各監視カメラ２に関する情報であって、各監視カメラ２の位置情報（撮影位置：緯度、経度、高さ）、撮影方向（水平角度と垂直角度）、現在撮影している撮影範囲、焦点距離、パンチルトズームすることで撮影することが可能な撮影可能範囲などの情報が含まれる。

なお、移動可能な監視カメラ２においては、位置情報、撮影方向、撮影範囲、焦点距離、撮影可能範囲が変化するため、受信する画像データに含まれる情報に基づいて制御部４３により逐次更新される。具体的には、位置情報と撮影方向と焦点距離は受信した情報をそのまま更新し、撮影範囲と撮影可能範囲は画像データに含まれる焦点距離、撮影方向、及び位置情報、並びに予め記憶したパンチルトズームの変更可能範囲に基づいて算出し、更新する。

また、監視領域の所定箇所に固定して設置される監視カメラ２の位置情報に関する情報は、予め記憶部４４に監視カメラ情報の一部として記憶しておくことができる。このような監視カメラ２のうち、パンチルトズーム可能な監視カメラ２については、撮影方向、撮影範囲、焦点距離、撮影可能範囲が変化するため、受信する画像データに含まれる情報に基づいて、上記と同様にして制御部４３により逐次更新される。なお、パンチルトズーム不可能な監視カメラ２については撮影範囲と撮影可能範囲は同じであるため同一の情報として記憶される。

飛行装置情報は、飛行装置３に関する情報であって、飛行装置３の位置情報（飛行位置又は撮影位置：緯度、経度、高さ）、カメラ部３１の撮影方向（水平角度と垂直角度）、現在撮影している撮影範囲、焦点距離、パンチルトズームすることで撮影することが可能な撮影可能範囲などの情報が含まれ、動的に変化するものは飛行装置３から受信する画像データに含まれる情報に基づいて、上記と同様にして制御部４３により逐次更新される。

監視空間情報は、監視空間に関する情報であり、例えば地形、建物、道路など形状が所定の座標系で表された３次元情報、監視対象とする監視領域、及び、例えば建物や壁などの人物が存在し得ない領域である移動不可能領域などの情報である。

画像データは、各監視カメラ２や飛行装置３から所定のフレーム周期で所定時間おきに送信されるデータであり、監視カメラ２ごと飛行装置３ごとに記憶部４４に逐次蓄積される。

尚、記憶部４４には、上述した情報の他に、類似度の算出に用いられる重み付け係数、検出閾値（追跡対象検出閾値、候補検出閾値）も記憶されている。

操作部４５は、例えばマウス、キーボード、表示部４６の表示画面上のソフトキーなどで構成される。操作部４５は、後述する追跡対象の追跡機能の実行や終了、追跡対象の特徴情報を記憶部４４に予め記憶させる操作、記憶部４４に記憶保存された画像データから追跡対象の指定、各監視カメラ２や飛行装置３への指示、画像データの削除などを行う際に監視員によって操作される。

表示部４６は、例えば液晶表示器などで構成される。表示部４６は、表示制御部４３ｊの制御により、複数の監視カメラ２や飛行装置３から取得した画像データの表示、予測エリアの表示、飛行装置３のカメラ部３１が撮影した画像への予測エリアの重畳表示（例えば飛行装置３からの画像に予測エリアを半透明で重ね合わせて表示）などを行っている。

（追跡機能について）
次に、上記のように構成される監視システム１の動作として、監視領域内を移動する追跡対象を追跡して監視する場合の追跡機能について図６〜１３のフローチャートを参照しながら説明する。ここでは、複数の監視カメラ２が少なくともパンチルトズームカメラで構成されるものを含み、飛行装置３が移動型飛行装置であるものとしている。

まず、追跡機能のメインフローについて図６及び図７を用いて説明する。監視員がセンタ装置４の操作部４５を操作し、追跡機能の処理を開始する指示がなされて追跡機能がＯＮすることにより本フローチャートが開始される（ＳＴ１）。なお、この追跡機能は監視員が操作部４５にて追跡機能をＯＦＦする終了操作を行うことで処理を終了する。ＳＴ１の次に、対象特徴抽出部４３ａは対象特徴抽出処理を実行する（ＳＴ２）。

対象特徴抽出処理では、追跡対象を特定するための特徴を追跡対象特徴として抽出する。対象特徴抽出処理が終了すると、監視カメラ追跡部４３ｂは、監視領域における複数の全ての監視カメラ２から送信される画像データの画像に対し、監視カメラ追跡処理（ＳＴ３〜ＳＴ１１）を実行する。

監視カメラ追跡処理では、連携処理部４３ｉから追跡対象検出閾値を緩く設定する制御信号の入力を受けたかを判別する（ＳＴ３）。制御信号の入力を判定すると、追跡対象検出閾値を緩く設定する（ＳＴ４）。この制御信号の入力判別が終了すると、対象検出処理に移行する（ＳＴ５）。なお、監視カメラ追跡処理では、追跡対象検出閾値を緩くした場合、追跡機能がＯＦＦされると元の追跡対象検出閾値に戻す処理を行う。

対象検出処理では、複数の監視カメラ２から送信される画像データの画像に対し、ＳＴ２において抽出した複数種類の追跡対象特徴を用いて追跡対象を検出する。

対象検出処理が終了すると、追跡対象を検出したか否かを判別する（ＳＴ６）。追跡対象を検出したと判定すると、追跡フラグをＯＮし（ＳＴ７）、表示制御部４３ｊはそのときの監視カメラ２の画像をセンタ装置４の表示部４６に表示する（ＳＴ８）。そして、対象検出処理によって検出した追跡対象を追跡する対象追跡処理を実行する（ＳＴ９）。

対象追跡処理では、所定のフレーム周期で所定時間おきに送信される監視カメラ２からフレーム間差分により変化領域を抽出し、ＳＴ５の対象検出処理で検出した追跡対象に相当する変化領域の位置、大きさ、形状を加味して同一の移動物体による変化領域をフレーム間にわたり対応付けてゆくことで追跡対象を追跡する。

上述した監視カメラ追跡処理（ＳＴ３〜ＳＴ１１）により、監視カメラ２ごとに、順次取得する画像データについて追跡対象の追跡処理が行われ、この追跡処理の結果に応じて追跡フラグがＯＮ又はＯＦＦに制御されることによって、各監視カメラ２において追跡対象を追跡中であるのか否かを監視している。

一方、対象特徴抽出処理が終了した場合、上述した監視カメラ追跡処理に並行した処理が開始される。まず、逸脱判定部４３ｃは、複数の監視カメラ２の全ての追跡フラグがＯＦＦか否かを判別する逸脱判定処理を実行する（ＳＴ１２）。具体的には、全ての追跡フラグがＯＦＦであると判定することで、全ての監視カメラ２において追跡対象を追跡していない状態になったか否かを判定する。逸脱判定処理において全ての追跡フラグがＯＦＦであると判定すると、経過時間の計測を開始し（ＳＴ１３）、監視カメラ追跡不能判定処理（ＳＴ１４〜ＳＴ１７）に移行する。

監視カメラ追跡不能判定処理では、まず、監視カメラ追跡処理（ＳＴ３〜ＳＴ１１）による追跡が不能か否かを判定するための許容時間を設定する許容時間設定処理を許容時間設定部４３ｄが実行する（ＳＴ１４）。

許容時間が設定されると、追跡不能判定部４３ｅが、この許容時間とＳＴ１３にて計時開始している経過時間とを比較して監視カメラ追跡処理による追跡は不能であるか否かを判定する追跡不能判定処理を実行する（ＳＴ１５）。

追跡不能判定処理が終了すると、追跡不能判定処理において監視カメラ２での追跡対象の追跡が不能と判定したか否かを判別する（ＳＴ１６）。監視カメラ２での追跡対象の追跡が不能と判定していないと判別すると、監視カメラ２の追跡フラグがＯＮか否かを判別する（ＳＴ１７）。そして、追跡フラグがＯＮであると判定すると、経過時間をクリアし（ＳＴ１８）、ＳＴ１２の全ての追跡フラグがＯＦＦか否かの判別に戻る。この状態では、複数の監視カメラ２の何れかが追跡対象の再追跡を行っていることになる。また、追跡フラグがＯＮでないと判定すると、ＳＴ１５の追跡不能判定処理に戻る。これに対し、ＳＴ１６にて監視カメラ２での追跡対象の追跡が不能であると判定すると、図７の予測エリア推定処理に移行する（ＳＴ１９）。

このように、監視カメラ追跡不能判定処理（ＳＴ１４〜ＳＴ１７）は、全ての監視カメラ２によって追跡対象を追跡していない状態になってから（ＳＴ１２−Ｙｅｓ）、追跡対象を再追跡するまで（ＳＴ１７−Ｙｅｓ）、処理が繰り返されて、監視カメラ２による追跡対象の追跡が不能か否かを判断する。

予測エリア推定処理では、予測エリア推定部４３ｆが予測エリアを推定する。予測エリア推定処理が終了すると、表示制御部４３ｊは、推定した予測エリアをセンタ装置４の表示部４６に表示する（ＳＴ２０）。推定した予測エリアの表示が終了すると、飛行装置対処処理（ＳＴ２１〜ＳＴ２６）に移行する。

飛行装置対処処理では、まず、飛行装置制御部４３ｇが、ＳＴ１９にて推定した予測エリアを飛行装置３にて撮影できる目標位置に飛行装置３を移動させる制御としての飛行装置制御処理を実行する（ＳＴ２１）。

そして、飛行装置対処処理において飛行装置３が目標位置に到着したか否かを判別する（ＳＴ２２）。飛行装置３が目標位置に到着していないと判定すると、監視カメラ２の追跡フラグがＯＮか否かを判別する（ＳＴ２３）。監視カメラ２の追跡フラグがＯＮであると判定すると、複数の監視カメラ２の中の少なくとも１つの監視カメラ２が追跡対象を追跡中なので、ＳＴ１２の全ての追跡フラグがＯＦＦか否かの判別に戻る。また、監視カメラ２の追跡フラグがＯＮではないと判定すると、ＳＴ１９の予測エリア推定処理に戻り、予測エリア推定部４３ｆによる予測エリアの推定処理を継続して実行する。さらに、飛行装置３が目標位置に到着したと判定すると、対象候補検出処理に移行する。

対象候補検出処理では、対象候補検出部４３ｈが、飛行装置３にて撮影される画像に対し、限定された複数種類の特徴情報を判定基準として追跡対象の候補を検出する。

次に、上述した対象候補検出処理により追跡対象の候補を検出したか否かを判別する（ＳＴ２５）。追跡対象の候補を検出したと判定すると、この検出した候補について複数の監視カメラ２や監視カメラ追跡部４３ｂと連携させるための連携処理に移行する（ＳＴ２６）。追跡対象の候補を検出していないと判定すると、監視カメラ２の追跡フラグがＯＮか否かを判別する（ＳＴ２３）。監視カメラ２の追跡フラグがＯＮであると判定すると、複数の監視カメラ２の中の少なくとも１つの監視カメラ２が追跡対象を追跡中なので、ＳＴ１２の全ての追跡フラグがＯＦＦか否かの判別処理に戻る。また、監視カメラ２の追跡フラグがＯＮではないと判定すると、ＳＴ１９の予測エリア推定処理に戻り、予測エリア推定部４３ｆによる予測エリアの推定処理を継続して実行し、この推定処理の結果に応じて再び飛行装置対処処理を実行する。

連携処理では、連携処理部４３ｉが、監視カメラ２や監視カメラ追跡部４３ｂに連携のための制御信号を出力する（ＳＴ２６）。

連携処理が終了すると、監視カメラ２の追跡フラグがＯＮか否かを判別する（ＳＴ２３）。そして、監視カメラ２の追跡フラグがＯＮであると判定すると、複数の監視カメラ２の中の少なくとも１つの監視カメラ２が追跡対象を追跡中なので、ＳＴ１２の全ての追跡フラグがＯＦＦか否かの判別に戻る。また、監視カメラ２の追跡フラグがＯＮではないと判定すると、ＳＴ１９の予測エリア推定処理に戻り、予測エリア推定部４３ｆによる予測エリアの推定処理を継続して実行し、この推定処理の結果に応じて再び飛行装置対処処理を実行する。

上述した予測エリア推定処理及び飛行装置対処処理は、全ての監視カメラ２による追跡が不能と判定してから（ＳＴ１６−Ｙｅｓ）、監視カメラ２にて追跡対象を再追跡するまで（ＳＴ２３−Ｙｅｓ）、処理が繰り返されて、飛行装置３による対処が継続されることになる。

尚、上述した追跡機能においてＳＴ２０において予測エリアを表示した後、その次のＳＴ２１の飛行装置制御処理に移行する処理は、飛行装置対処処理を実行するか否かを表示部４６に表示し、監視員が操作部４５にて許可操作がなされたときにＳＴ２１に移行するようにしてもよい。

次に、図６及び図７のメインフローで詳細に説明しなかった処理フローについて説明する。

まず、図８を参照して、図６のＳＴ１４で許容時間設定部４３ｄが実行する許容時間設定処理について説明する。許容時間設定部４３ｄは、最後に追跡対象を検出した監視カメラ２の周辺、つまり抽出した監視カメラ２の位置から所定範囲内の監視カメラ２を抽出する（ＳＴ３１）。続いて、抽出した監視カメラ２毎に予想移動時間を算出する（ＳＴ３２）。次に、抽出した全ての監視カメラ２の予想移動時間を算出したか否かを判別する（ＳＴ３３）。抽出した全ての監視カメラの予想移動時間を算出したと判定すると、算出した予想移動時間の中から最長の予想移動時間を選択する（ＳＴ３４）。そして、選択した最長の予想移動時間に余裕を持たせるための猶予時間を加えた許容時間を設定し（ＳＴ３５）、処理を終了する。尚、許容時間に余裕を持たせない場合は、選択した最長の予想移動時間そのものが許容時間となる。

図９を参照して、図６のＳＴ１５で追跡不能判定部４３ｅが実行する追跡不能判定処理について説明する。追跡不能判定部４３ｅは、経過時間が許容時間以上であるか否かを判別する（ＳＴ４１）。経過時間が許容時間以上であると判定すると、監視カメラ２での追跡対象の追跡が不可能であり、追跡不能と判定し（ＳＴ４２）、処理を終了する。経過時間が許容時間以上ではないと判定すると、追跡不能とは判定せずに処理を終了する。

図１０を参照して、図７のＳＴ１９で予測エリア推定部４３ｆが実行する予測エリア推定処理について説明する。予測エリア推定処理では、最後に追跡対象を検出した監視カメラ２の検出位置を基準として、追跡対象が最大移動できる移動範囲を算出する（ＳＴ５１）。次に、算出した移動範囲内の監視カメラ２を抽出する（ＳＴ５２）。そして、抽出した各監視カメラ２の撮影範囲を記憶部４４に記憶された監視カメラ情報から読み出す（ＳＴ５３）。続いて、追跡対象の移動範囲と各監視カメラ２の撮影範囲などから追跡対象が移動不可能な移動不能領域を特定する（ＳＴ５４）。そして、この特定した移動不能領域と追跡対象の移動範囲とを重ね合わせて重複しない領域を予測エリアとして推定し（ＳＴ５５）、処理を終了する。

図１１を参照して、図７のＳＴ２１で飛行装置制御部４３ｇが実行する飛行装置制御処理について説明する。飛行装置制御部４３ｇは、飛行装置３を移動させる目標位置を決定する（ＳＴ６１）。次に、飛行装置３を目標位置まで移動制御するため、センタ装置４から飛行指示による制御信号を飛行装置３に送信する（ＳＴ６２）。そして、センタ装置４は、制御信号の飛行指示に従って移動制御される飛行装置３から位置情報を取得し（ＳＴ６３）、飛行装置３が目標位置に到着したか否かを判別する（ＳＴ６４）。飛行装置３が目標位置に到着すれば、飛行装置３が目標位置に到着と判定し（ＳＴ６５）、処理を終了する。なお、ＳＴ６４の飛行装置着の判定は、ＳＴ６２にて移動指示を行ってから所定時間（例えば３分）後に実行される。

図１２を参照して、図７のＳＴ２４で対象候補検出部４３ｈが実行する対象候補検出処理について説明する。対象候補検出部４３ｈは、飛行装置３からの画像データを取得し（ＳＴ７１）、取得した画像から特徴検索を行うことで限定された複数種類の特徴情報を判定基準として用いて追跡対象の候補を検出する（ＳＴ７２）。そして、この特徴検索において追跡対象の候補を検出したか否かを判定する（ＳＴ７３）。候補を検出した場合には、対象候補検出と判定し（ＳＴ７４）、候補を検出していない場合にはＳＴ７４の判定をせずに処理を終了する。

図１３を参照して、図７のＳＴ２６で連携処理部４３ｉが実行する連携処理について説明する。連携処理部４３ｉは、飛行装置３から取得した画像データの画像内にある監視カメラ２を、記憶部４４に記憶された監視カメラ情報の位置情報から特定する（ＳＴ８１）。そして、特定した監視カメラ２の撮影可能範囲を、記憶部４４に記憶された監視カメラ情報から読み出す（ＳＴ８２）。次に、追跡対象の候補の位置（対象候補位置）が特定した監視カメラ２の撮影可能範囲内にあるか否かを判別する（ＳＴ８３）。対象候補位置が特定した監視カメラ２の撮影可能範囲内にあると判定すると、その監視カメラ２を制御対象の監視カメラ２として特定する（ＳＴ８４）。そして、全ての特定した監視カメラ２を処理したか否かを判別する（ＳＴ８５）。全ての特定した監視カメラ２を処理したと判定すると、追跡対象の全ての候補について処理したか否かを判別する（ＳＴ８６）。追跡対象の全ての候補について処理したと判定すると、制御対象（監視カメラ２や監視カメラ追跡部４３ｂ）に制御信号を出力し（ＳＴ８７）、処理を終了する。

尚、全ての特定した監視カメラ２を処理していないと判定したときや、追跡対象の全ての候補について処理していないと判定したときは、ＳＴ８３の対象候補位置が撮影可能範囲内にあるか否かの判別に戻る。

ところで、上述した追跡機能における飛行装置対処処理は、飛行装置３が移動型飛行装置であるものとして説明したが、飛行装置３が係留型飛行装置である場合には、図１１の飛行装置制御処理に変わり、以下の処理が実行される。追跡不能判定部４３ｅが追跡不能判定信号を出力すると、飛行装置制御部４３ｇが推定した予測エリアを撮影可能な係留型飛行装置を選択する。そして、選択した係留型飛行装置が予測エリアを撮影するように係留型飛行装置に制御信号を出力する。これにより、係留型飛行装置は、予測エリアを含んで撮影できるように、センタ装置４から受信した制御信号により、飛行制御部３６ａが推進部３２や方向舵３３を制御するとともに、カメラ制御部３６ｂがカメラ部３１の焦点距離や水平方向及び垂直方向の角度を制御する。そして、この制御信号により係留型飛行装置の制御がなされると、ＳＴ２４の対象候補検出処理に移行する。

また、複数の係留型飛行装置の中に予測エリアを撮影可能な係留型飛行装置が無い場合は、ＳＴ２３の追跡フラグがＯＮか否かの判別に移行する。そして、追跡フラグがＯＮであると判定すると、複数の監視カメラ２の中の少なくとも１つの監視カメラ２が追跡対象を追跡中なので、ＳＴ１２の全ての追跡フラグがＯＦＦか否かの判別に戻る。追跡フラグがＯＮではないと判定すると、ＳＴ１９の予測エリア推定処理に戻り、予測エリア推定部４３ｆによる予測エリアの推定処理を継続して実行する。そして、推定した予測エリアを撮影可能な係留型飛行装置が見つかると、その係留型飛行装置を選択し、予測エリアを撮影できるように係留型飛行装置に制御信号を出力し、この制御信号により係留型飛行装置の推進部３２や方向舵３３、カメラ部３１の焦点距離や水平方向及び垂直方向の角度を制御する。

また、上述した追跡機能における許容時間設定処理の別態様として、次のようにすることもできる。図８を用いて説明すると、ＳＴ３２の処理に替えて、最後に追跡対象を検出した監視カメラ２からＳＴ３１にて抽出した他の監視カメラ２まで追跡対象が移動するのに要する予想移動距離をそれぞれ算出する。そして、ＳＴ３４の処理に替えて、算出した予想移動距離のうち最長の予想移動距離を選択する。そして、ＳＴ３５の処理に替えて、選択した予想移動距離から予想移動時間を算出し、この予想移動時間に猶予時間を加えた許容時間を設定する。なお、この予想移動時間の算出と猶予時間の加算は許容時間設定部４３ｄの説明において説明した方法と同様にして行うことができる。

以上説明したように、上述した実施の形態による監視システム１によれば、以下に示すような効果を奏する。

センタ装置４は、複数の監視カメラ２に関する位置情報と撮影可能範囲とを記憶部４４に記憶させておき、監視カメラ２ごとに撮影される画像から所定の追跡対象（例えば人物、車両など）を監視カメラ追跡部４３ｂが検出して追跡する。すなわち、通常は、所定の撮影範囲で地上から撮影した複数の監視カメラ２からの画像データに基づいて追跡対象を検出して追跡を行っている。そして、逸脱判定部４３ｃは、全ての監視カメラ２において追跡対象が撮影可能範囲から逸脱したか否かを判定する。許容時間設定部４３ｄは、逸脱判定部４３ｃが撮影可能範囲からの逸脱を判定すると、逸脱を判定した監視カメラ２の周辺に設置されている他の監視カメラ２を位置情報から抽出し、逸脱を判定した監視カメラ２から他の監視カメラ２まで追跡対象が移動するのに要する予想移動時間をそれぞれ算出し、この算出した予想移動時間のうち最長の予想移動時間から許容時間を設定する。追跡不能判定部４３ｅは、撮影可能範囲からの逸脱を判定したときからの経過時間が許容時間を経過しても、複数の監視カメラ２のいずれにおいても追跡対象を検出していないときに追跡不能と判定して、その旨を出力する。

すなわち、全ての監視カメラ２にて追跡対象を検出できなくなると、この監視カメラ２から所定範囲内（例えば１００ｍ以内）の他の監視カメラ２を抽出し、抽出した監視カメラ２にて追跡対象を検出できるようになるまでに要する追跡対象の予想移動時間をそれぞれ算出し、算出した予想移動時間の中で最長の予想移動時間を含む許容時間を超えても何れの監視カメラ２でも追跡対象を検出できないときに、その旨を出力している。かかる構成により、監視員は、複数の監視カメラ２の画像を常時確認しなくても、監視カメラ２だけで追跡対象を再度発見することが困難となった状況を適切なタイミングで把握することができる。そして、全ての監視カメラ２で追跡対象の追跡が困難になったときの出力を、例えば表示出力や音声出力の報知信号として利用すれば、その旨を監視員に知らせることができる。

センタ装置４の予測エリア推定部４２ｅは、追跡不能判定部４３ｅから追跡対象を追跡不能と判定した旨の出力がなされたときに、最後に追跡対象（例えば不審者や不審車両など）を検出した監視カメラ２の位置から、追跡対象を検出しなかった監視カメラ２の撮影可能範囲を除外して追跡対象が存在する予測エリアを推定する。そして、追跡対象を検出しなかった監視カメラ２の撮影可能範囲を除外して推定した追跡対象が存在する予測エリアを表示部４６に表示する。かかる構成により、余計な情報を省いて追跡対象が存在し得る予測エリアを表示させ、監視員に知らせることができる。

センタ装置４の飛行装置制御部４３ｇは、予測エリア推定部４２ｅが推定した予測エリアを含んで撮影できるように、上空から撮影する撮像部３１ａを有する飛行装置３を制御する。かかる構成により、複数の監視カメラ２で追跡対象の追跡ができなくなったときに、最後に追跡対象を検出した監視カメラ２の位置から予測エリアを推定し、この予測エリアに向けて飛行装置３を制御し、追跡対象が存在する可能性の高い予測エリアを飛行装置３の撮像部３１ａが上空から撮影することができる。

飛行装置３が移動型飛行装置の場合、センタ装置４の飛行装置制御部４３ｇは、追跡不能判定部４３ｅから追跡不能と判定した旨の出力がなされたときに、移動型飛行装置を予測エリアへ移動制御する。かかる構成により、全ての監視カメラ２で追跡対象の追跡が困難になったときに、移動型飛行装置を速やかに予測エリアに向けて移動制御することができる。

センタ装置４の予測エリア推定部４３ｆは、予測エリアの推定を繰り返し実行する。そして、飛行装置制御部４３ｇは、予測エリア推定部４３ｆが実行する予測エリアの推定の結果に応じて移動型飛行装置を移動制御する目標位置を再設定し、再設定された目標位置に向けて移動型飛行装置を制御する。かかる構成により、繰り返し実行される予測エリアの推定の結果に応じて再設定された目標位置に移動型飛行装置を制御するので、移動型飛行装置を目標位置に向けて確実に制御することができる。

飛行装置３が複数の係留型飛行装置の場合、センタ装置４の飛行装置制御部４３ｇは、追跡不能判定部４３ｅから追跡不能と判定した旨の出力がなされたときに、予測エリアを撮影可能な係留型飛行装置を選択して撮影制御している。かかる構成により、予測エリアを撮影可能な係留型飛行装置を選択して確実に撮影を行うことができる。

飛行装置３として、複数の係留型飛行装置の中に予測エリアを撮影可能なものが無いときは、予測エリア推定部４３ｆによる予測エリアの推定を継続し、予測エリアを撮影可能な係留型飛行装置が見つかったときに、その係留型飛行装置を選択する。かかる構成により、複数の係留型飛行装置の中に予測エリアを撮影可能なものが無ければ予測エリアの推定を継続して行うので、追跡対象が存在し得る予測エリアを推定し、この予測エリアを撮影可能な係留型飛行装置が見つかった時点で、係留型飛行装置が上空から予測エリアの撮影を行うことができる。

センタ装置４の対象候補検出部４３ｈは、監視カメラ追跡部４３ｂによる追跡対象の追跡が不能と判定すると、飛行装置３にて撮影された画像から追跡対象の候補を検出している。そして、連携処理部４３ｉは、対象候補検出部４３ｈにて検出した追跡対象の候補が撮影可能範囲に進入したと判定すると、監視カメラ２又は監視カメラ追跡部４３ｂに制御信号を出力している。例えば監視カメラ２がパンチルトズームカメラで構成される場合には、追跡対象の候補が撮影可能となるように監視カメラ２の焦点距離や水平方向及び垂直方向の角度を制御信号によって制御する。かかる構成により、監視カメラ２と飛行装置３とを連携させて継続的に追跡対象を追跡することができる。

複数の監視カメラ２からの画像を用いて監視領域内を移動する追跡対象を検出する場合には、最も高精度な照合が可能な最重要特徴情報を含んだ複数種類の特徴情報を判定基準として追跡対象を検出している。これに対し、飛行装置３からの画像を用いて予測エリアを含む領域内の追跡対象の候補を検出する場合には、最重要特徴情報を含まない複数種類の特徴情報の一部の特徴情報を判定基準として追跡対象の候補を検出している。かかる構成により、監視カメラ２からの画像では追跡対象を高精度に検出しつつ、飛行装置３からの画像では検出精度の向上に大きく寄与しない特徴情報を使用せず、監視カメラ２からの画像よりも低精度で追跡対象の候補を検出することにより、飛行装置３からの画像を用いた追跡対象の候補の検出に要する処理負荷を軽減することができる。

このように、本実施の形態に係る監視システムによれば、監視カメラ２と飛行装置３とを連携させ、監視領域内を移動する追跡対象（例えば人物、車両など）を効率的に検出して追跡し監視を行うことができる。

以上、本発明に係る監視システムの最良の形態について説明したが、この形態による記述及び図面により本発明が限定されることはない。すなわち、この形態に基づいて当業者等によりなされる他の形態、実施例及び運用技術などはすべて本発明の範疇に含まれることは勿論である。

１ 監視システム
２（２ａ〜２ｆ） 監視カメラ
３ 飛行装置
４ センタ装置（追跡処理装置）
２１ カメラ部
２１ａ 撮像部
２１ｂ 方向制御部
２１ｃ 画像データ生成部
２２ 制御部
２３ 通信部
３１ カメラ部
３１ａ 撮像部
３１ｂ 方向制御部
３１ｃ 画像データ生成部
３２ 推進部
３３ 方向舵
３４ 測位部
３５ 姿勢検出部
３６ 制御部
３６ａ 飛行制御部
３６ｂ カメラ制御部
３７ 無線通信部
４１ 通信部
４２ 無線通信部
４３ 制御部
４３ａ 対象特徴抽出部
４３ｂ 監視カメラ追跡部
４３ｃ 逸脱判定部
４３ｄ 許容時間設定部
４３ｅ 追跡不能判定部
４３ｆ 予測エリア推定部
４３ｇ 飛行装置制御部
４３ｈ 対象候補検出部
４３ｉ 連携処理部
４３ｊ 表示制御部
４４ 記憶部
４５ 操作部
４６ 表示部
Ｅ０ 追跡対象の移動範囲
Ｅ１〜Ｅ６ 撮影範囲
Ｅ６’制御後の撮影範囲
Ｅ７ 撮影可能範囲
Ｅ１０ 追跡対象の移動不能領域
Ｅ１１ 予測エリア
ｍ 追跡対象の移動方向

Claims (7)

1. 複数の監視カメラを備えた監視システムであって、
   前記複数の監視カメラに関する位置情報と撮影可能範囲とを記憶する記憶部と、
   前記監視カメラごとに撮影される画像から所定の追跡対象を検出して追跡する監視カメラ追跡部と、
   当該監視カメラ追跡部の追跡結果に基づいて前記複数の全ての監視カメラにおいて前記追跡対象が前記撮影可能範囲から逸脱したか否かを判定する逸脱判定部と、
   前記逸脱を判定すると、最後に前記追跡対象を検出した前記監視カメラ以外の他の監視カメラを前記位置情報から抽出し、最後に前記追跡対象を検出した前記監視カメラから前記他の監視カメラそれぞれまで前記追跡対象が移動するのに要する予想移動時間又は予想移動距離を算出し、当該算出した予想移動時間のうち最長の予想移動時間又は前記算出した予想移動距離のうち最長の予想移動距離から許容時間を設定する許容時間設定部と、
   前記逸脱を判定したときからの経過時間が前記許容時間を経過しても、前記複数の監視カメラのいずれにおいても前記追跡対象を検出していないときに当該追跡対象を追跡不能と判定し、この旨を出力する追跡不能判定部と、
   を備えたことを特徴とする監視システム。
2. 前記追跡不能と判定した旨の出力がなされると、最後に前記追跡対象を検出した前記監視カメラの位置から前記追跡対象が存在する予測エリアを推定する予測エリア推定部と、
   当該推定した予測エリアを含んで撮影できるように、上空から撮影する撮像部を有する飛行装置を制御する飛行装置制御部と、
   を備えた請求項１に記載の監視システム。
3. 前記追跡不能と判定した旨の出力がなされると、最後に前記追跡対象を検出した前記監視カメラの位置から、前記追跡対象が存在する予測エリアを、前記追跡対象を検出しなかった前記他の監視カメラの前記撮影可能範囲を除外して推定する予測エリア推定部と、
   この推定した予測エリアを表示部に表示する表示制御部と、
   を備えた請求項１に記載の監視システム。
4. 前記飛行装置が移動型飛行装置であり、
   前記飛行装置制御部は、前記追跡不能と判定した旨の出力がなされると、前記移動型飛行装置を、前記予測エリアを含んで撮影できる目標位置へ移動制御する請求項２に記載の監視システム。
5. 前記予測エリア推定部は、前記予測エリアの推定を繰り返し実行し、
   前記飛行装置制御部は、前記実行の結果に応じて前記目標位置を再設定する請求項４に記載の監視システム。
6. 前記飛行装置が複数の係留型飛行装置であり、
   前記飛行装置制御部は、前記追跡不能と判定した旨の出力がなされると、前記予測エリアを含んで撮影可能な係留型飛行装置を選択して撮影制御する請求項２に記載の監視システム。
7. 前記複数の係留型飛行装置の中に前記予測エリアを撮影可能なものが無いときは、前記予測エリアの推定を継続し、当該予測エリアを撮影可能な係留型飛行装置が見つかったときに選択する請求項６に記載の監視システム。

Images