上記課題を解決するために本発明の第1の発明は、被写体を撮像するカメラと、被写体を感知する複数のセンサと、他のネットワークカメラに接続することができるインターフェースと、複数のセンサの中で被写体を感知したセンサの感知範囲へカメラの向きを変える制御部と、を備え、制御部は、変更するカメラの向きを他のネットワークカメラへ通知して、他のネットワークカメラにセンサが感知した感知範囲へカメラの向きを変えるように指示することを特徴とするネットワークカメラである。この構成によって、インターフェースを介してセンサが被写体を感知した感知範囲へ他のネットワークカメラの撮像方向を向けさせることができ、複数台のカメラが異なる角度から同一の被写体を連携して撮像するので、被写体の全体像を撮像することが可能になる。
本発明の第2の発明は、被写体を撮像するカメラと、被写体を感知するセンサと、他のネットワークカメラに接続することができるインターフェースと、複数のセンサの中で被写体を感知したセンサの感知範囲へカメラの撮像方向を変える制御部と、同一の被写体を撮像したときに、カメラの撮像方向と対応関係を有する他のネットワークカメラの撮像方向を示す位置情報を記憶する記憶手段と、を備え、制御部は、カメラが被写体を感知した感知範囲へ撮像方向を変えたとき、記憶手段を参照し、位置情報をインターフェース経由で他のネットワークカメラへ通知して、該位置情報に基づいて他のネットワークカメラにそのカメラの向きを変えるように指示することを特徴とするネットワークカメラである。この構成によって、インターフェースを介してセンサが被写体を感知した感知範囲へ他のネットワークカメラの撮像方向を向けさせることができ、複数台のカメラが異なる角度から同一の被写体を連携して撮像するので、被写体の全体像を撮像することが可能になる。また、同一の被写体を撮像したときにカメラの撮像方向と対応関係を有する他のネットワークカメラの撮像方向を示す位置情報を記憶する記憶手段を設けることにより、予め互いの複数ネットワークカメラの撮像位置を関連付けておくので、他のネットワークカメラの撮像方向を被写体が感知された方向に簡易に向けることができる。さらに、この記憶手段を設けることにより、カメラから被写体の死角となる部分が生じないように複数のネットワークカメラを配置することができるので、どのような場所においても被写体の全体像を確実に撮像することができる。
本発明の第3の発明は、被写体を撮像するカメラと、他のネットワークカメラに接続することができるインターフェースと、カメラが撮像する画像に変化があるかどうか認識する画像認識手段と、カメラの向きを変える制御部と、同一の被写体を撮像したときに、カメラの撮像方向と対応関係を有する他のネットワークカメラの撮像方向を示す位置情報を記憶する記憶手段と、を備え、制御部は、カメラが被写体を感知した感知範囲へ撮像方向を変えたとき、記憶手段を参照し、位置情報をインターフェース経由で他のネットワークカメラへ通知して、該位置情報に基づいて他のネットワークカメラにそのカメラの向きを変えるように指示することを特徴とするネットワークカメラである。この構成によって、インターフェースを介してカメラが画像の変化を認識した方向へ他のネットワークカメラの撮像方向を向けさせることができ、複数台のカメラが異なる角度から同一の被写体を連携して撮像するので、被写体の全体像を撮像することが可能になる。また、カメラで撮像した画像の変化で被写体の動きを認識することにより、被写体を感知するためのセンサ等を省くことができるので、簡単な装置構成で被写体を検知して他のネットワークカメラの向きを変えることができる。
本発明の第4の発明は、被写体を撮像するカメラと、被写体を感知する複数のセンサと、カメラが撮像する画像に変化があるかどうか認識する画像認識手段と、他のネットワークカメラと接続するインターフェースと、複数のセンサの感知範囲を示す位置情報を記憶する記憶手段と、画像認識手段が撮像画像の変化を認識したとき、変化した撮像画像の位置を感知範囲とするセンサを判断し、このセンサの感知位置を示す位置情報を記憶手段から読出し、この読出した位置情報をインターフェース経由で他のネットワークカメラへ通知する制御部と、を具備し、制御部は、位置情報に基づいて他のネットワークカメラにそのカメラの向きを変えるように依頼又は命じることを特徴とするネットワークカメラである。この構成によって、インターフェースを介してカメラが画像の変化を認識した方向へ他のネットワークカメラの撮像方向を向けさせることができ、複数台のカメラが異なる角度から同一の被写体を連携して撮像するので、被写体の全体像を撮像することが可能になる。また、画像認識とセンサとによって被写体を感知することにより、画像認識で認識されない範囲あるいは位置をセンサで感知するので、1つのカメラでは撮像できない方向、すなわちカメラから死角となる部分の被写体を他のネットワークカメラによって撮像することができる。
本発明の第5の発明は、被写体を撮像するカメラと、カメラの撮像範囲の端部と撮像範囲が重なる他ネットワークカメラに接続することができるインターフェースと、カメラの撮像範囲内での被写体の動きを認識する画像認識手段と、画像認識手段によって被写体が撮像範囲の端部へ移動したと認識されたとき、インターフェースを介して他のネットワークカメラへ被写体を撮像するように通知する制御部と、を備え、制御部は、通知に基づいて他のネットワークカメラにそのカメラの撮像範囲の端部から被写体の撮像を開始するように依頼又は命じることを特徴とするネットワークカメラである。この構成によって、動く被写体がカメラの撮像範囲の端部へ移動したとき、この撮像範囲の端部と重複する撮像範囲を有する他のネットワークカメラへインターフェースを介して被写体の撮像を開始させることができ、被写体の動きに合わせて撮像ができるので、複数台のネットワークカメラで撮像する場合であっても被写体の画像を途切れることなく連続してカメラで撮像することがきる。
本発明の第6の発明は、被写体を撮像するカメラと、カメラの撮像範囲の端部と撮像範囲が重なる他ネットワークカメラに接続することができるインターフェースと、カメラの撮像範囲内での被写体の動きを認識する画像認識手段と、画像認識手段によって撮像範囲内で被写体が認識されなくなったとき、インターフェースを介して他のネットワークカメラへ被写体を撮像するように通知する制御部と、を備え、制御部は、通知に基づいて他のネットワークカメラにそのカメラの撮像範囲の端部から被写体の撮像を開始するように依頼又は命じることを特徴とするネットワークカメラである。この構成によって、動く被写体がカメラの撮像範囲内に認識されなくなったとき、インターフェースを介して他のネットワークカメラで被写体を撮像させることができ、連続して被写体を撮像するので、被写体を追尾して撮像することがきる。
本発明の第7の発明は、被写体を撮像するカメラと、カメラが撮像する画像に変化があるかどうか認識する画像認識手段と、複数の他のネットワークカメラに接続することができるインターフェースと、画像認識手段が画像の変化を認識したとき、インターフェースを介して他のネットワークカメラの向きを画像が変化した方向へそれぞれ向かせるように指示する指示手段と、他のネットワークカメラからそれぞれ指示された方向において画像の変化を認識した旨の通知を受け取る受信手段と、画像の変化を認識した他のネットワークカメラの数が所定の判定条件を充たした場合に、画像認識手段の認識結果が有効であると判定する判定手段と、を備えたことを特徴とするネットワークカメラである。この構成によって、インターフェースを介して画像認識手段が画像の変化を認識した方向へ他のネットワークカメラの撮像方向を向けさせることができ、複数台のカメラが異なる角度から同一の被写体を撮像するので、被写体の全体像を撮像することが可能になる。また、画像の変化を認識した他のネットワークカメラの数が所定の判定条件を充たした場合に、画像認識手段の認識結果の有効と判定する判定手段を設けることにより、画像認識手段による画像の認識ミスを軽減できるので、正確な画像認識の結果を得ることができる。
本発明の第8の発明は、被写体を撮像するカメラと、被写体を感知するセンサと、複数の他のネットワークカメラに接続することができるインターフェースと、センサが被写体を感知したとき、インターフェースを介して他のネットワークカメラの向きをセンサが感知した感知範囲へそれぞれ向かせるように指示する指示手段と、他のネットワークカメラからそれぞれ指示された感知範囲において画像の変化を認識した旨の通知を受け取る受信手段と、画像の変化を認識した他のネットワークカメラの数が所定の判定条件を充たした場合に、センサの感知結果が有効であると判定する判定手段と、を備えたことを特徴とするネットワークカメラである。この構成によって、インターフェースを介してセンサが被写体を感知した感知範囲へ他のネットワークカメラの撮像方向を向けさせることができ、複数台のカメラが異なる角度から同一の被写体を撮像するので、被写体の全体像を撮像することができる。また、画像の変化を認識した他のネットワークカメラの数が所定の判定条件を充たした場合、センサによる被写体の感知結果を有効と判定する判定手段を設けたことにより、センサによる被写体の感知ミスを軽減できるので、正確なセンサの感知結果を得ることができる。
本発明の第9の発明は、被写体を撮像するカメラと、カメラが撮像する画像に変化があるかどうか認識する画像認識手段と、外部端末及び複数の他のネットワークカメラに接続することができるインターフェースと、画像認識手段が画像の変化を認識したとき、インターフェースを介して他のネットワークカメラの向きを画像が変化した方向へそれぞれ向かせるように指示する指示手段と、他のネットワークカメラからそれぞれ指示された方向において画像の変化を認識した旨の通知を受け取る受信手段と、画像の変化を認識した他のネットワークカメラの数が所定数又は所定の割合以上の場合に、画像認識手段の認識結果が有効であると判定する判定手段と、このときカメラが撮像した画像を外部端末へ出力する制御手段と、を備えたことを特徴とするネットワークカメラである。この構成によって、インターフェースを介してカメラが画像の変化を認識した方向へ他のネットワークカメラの撮像方向を向けさせることができ、複数のカメラが異なる角度から同一の被写体を撮像するので、被写体の全体像を撮像することができる。また、画像の変化を認識した他のネットワークカメラの数が所定数又は所定の割合以上の場合に、画像認識手段の認識結果が有効であると判定し、カメラが撮像した画像を外部端末へ出力する制御手段を設けたことにより、有効と判定された画像のみが外部端末へ出力されるので、正確に認識された画像だけを外部端末で取得することができる。
本発明の第10の発明は、被写体を撮像するカメラと、被写体を感知するセンサと、外部端末及び複数の他のネットワークカメラに接続することができるインターフェースと、センサが被写体を感知したとき、インターフェースを介して他のネットワークカメラの向きをセンサが感知した感知範囲へそれぞれ向かせるように指示する指示手段と、他のネットワークカメラからそれぞれ指示された感知範囲においてセンサが被写体を感知した旨の通知を受け取る受信手段と、被写体を感知した他のネットワークカメラの数が所定数又は所定の割合以上の場合に、センサの感知結果が有効であると判定する判定手段と、このときカメラが撮像した画像を外部端末へ出力する制御手段と、を備えたことを特徴とするネットワークカメラである。この構成によって、インターフェースを介してカメラが画像の変化を認識した方向へ他のネットワークカメラの撮像方向を向けさせることができ、複数のカメラが異なる角度から同一の被写体を撮像するので、被写体の全体像を撮像することができる。また、センサが被写体を感知した他のネットワークカメラの数が所定数又は所定の割合以上の場合に、センサの感知結果が有効であると判定し、カメラが撮像した画像を外部端末へ出力する制御手段を設けることにより、センサによる感知結果が有効と判定された画像のみが外部端末へ出力されるので、複数のネットワークカメラを設置した場所からセンサが反応した撮像画像のみを取得することができる。
本発明の第11の発明は、被写体を撮像するカメラと、被写体を感知するセンサと、複数の他のネットワークカメラに接続することができるインターフェースと、カメラの撮像方向と対応した撮像方向を撮像できる他のネットワークカメラのそれぞれに付与した優先順位を記憶する記憶手段と、センサが被写体を感知したとき、インターフェースを介して他のネットワークカメラの向きをセンサが感知した感知範囲へそれぞれ向かせるように指示する指示手段と、他のネットワークカメラからそれぞれ指示された感知範囲において画像の変化を認識した旨の通知を受け取る受信手段と、優先順位で優先度の高い他のネットワークカメラから通知を受け取った場合に、センサの感知結果が有効であると判定する判定手段と、を備えたことを特徴とするネットワークカメラである。この構成によれば、優先度の高い他のネットワークカメラからの通知に基づいて、センサの感知結果が有効であると判定する判定手段を有することにより、センサの感知結果の有効度を判定することができるので、全てのネットワークカメラからの通知に頼ることなく少数のネットワークカメラからの通知によって有効度の判定を正確に行うことができる。
本発明の第12の発明は、第7の発明に従属する発明であって、判定手段が画像認識手段の認識結果を有効であると判定したとき、記憶手段にカメラが撮像した画像を記憶させる制御手段を有することを特徴とするネットワークカメラであり、画像認識結果が有効であると判断された撮像画像を記憶させる制御手段を設けたことにより、画像の認識ミスをした画像を記憶しないので、記憶手段に必要な画像のみを記憶させることができる。
本発明の第13の発明は、第8の発明に従属する発明であって、判定手段がセンサの感知結果を有効であると判断したとき、記憶手段にカメラが撮像した画像を記憶させる制御手段を有することを特徴とするネットワークカメラであり、判定手段がセンサの感知結果を有効であると判断した撮像画像を記憶させる制御手段を設けたことにより、センサが感知ミスした撮像画像を記憶しないので、実際に被写体に変化があった撮像画像をだけを記憶手段に記憶することができる。
本発明の第14の発明は、第1、2、4のいずれかの発明に従属する発明であって、センサが動く被写体を感知したとき、記憶手段にカメラが撮像した画像を記憶させる制御手段を有することを特徴とするネットワークカメラであり、センサが動く被写体を感知したときにカメラが撮像した画像を記憶させる制御手段を設けたことにより、動く被写体が存在しない場合の撮像画像を記憶しないので、記憶手段への不要な画像の蓄積を防止することができる。
本発明の第15の発明は、第3、4、7、9のいずれかの発明に従属する発明であって、画像認識手段が画像の変化を認識したとき、記憶手段にカメラが撮像した画像を記憶させる制御手段を有することを特徴とするネットワークカメラであり、画像認識手段が画像の変化を認識したときに撮像した画像を記憶させる制御手段を設けたことにより、変化があったときだけの画像を記憶するので、記憶手段に変化のあった被写体の撮像画像のみを効率的に記憶することができる。
本発明の第16の発明は、第5又は6の発明に従属する発明であって、画像認識手段が被写体の動きを認識したとき、記憶手段にカメラが撮像した画像を記憶させる制御手段を有することを特徴とするネットワークカメラであり、画像認識手段が被写体の動きを認識したときに撮像した画像を記憶させる制御手段を設けることにより、動く被写体に追従して画像を記憶するので、記憶手段に動く被写体の連続画像を保持することができる。
本発明の第17の発明は、第1乃至11のいずれかの発明に従属する発明であって、他のネットワークカメラからの通知は撮像画像から構成されることを特徴とするネットワークカメラであり、他のネットワークカメラからの通知が撮像画像であることにより、センサまたは画像認識手段によって感知された被写体を画像として通知するので、ネットワークカメラを設置している撮像場所の変化を画像としてみることができる。
本発明の第18の発明は、第9又は10の発明に従属する発明であって、外部端末に他のネットワークカメラのそれぞれで撮像された複数の画像を画面に表示させることを特徴とするネットワークカメラである。この構成によって、外部端末が画像を画面に表示させることができ、有効と判定された正確な画像のみを見ることができるので、複数ネットワークカメラを設置した場所を確実に監視することができる。
本発明の第19の発明は、第1、2、4、8、10、11、13、14のいずれかの発明に従属する発明であって、センサは、カメラに内蔵されていることを特徴とするネットワークカメラである。センサがカメラに内蔵されていることにより、被写体を感知するセンサを他場所に設置する必要がないので、ひとつのカメラ装置で被写体の感知と撮像を行うことができる。
本発明の第20の発明は、第1、2、4、8、10、11、13、14のいずれかの発明に従属する発明であって、センサは、カメラの外部にケーブルで接続されていることを特徴とするネットワークカメラである。センサがカメラの外部にケーブルで接続されていることにより、カメラから離れた位置でもセンサを設置することができるので、カメラが撮像できない死角部分の被写体を感知することができる。
本発明の第21の発明は、第2乃至11のいずれかの発明に従属する発明であって、カメラが撮像した画像を通知する画像通知先情報を記憶するテーブルが設けられたことを特徴とするネットワークカメラであり、カメラが撮像した画像を通知する画像通知先情報を記憶するテーブルを有することにより、画像を送信する相手先を予め保持しているので、撮像した画像を必要な相手先へ簡易に送ることができる。
本発明の第22の発明は、第7又は9の発明に従属する発明であって、判定手段が認識手段による画像の認識が有効であると判定した場合に、その有効と判定された画像を通知する通知先情報を記憶するテーブルが設けられたことを特徴とするネットワークカメラである。この構成によれば、撮像した画像を通知する画像通知先情報を記憶するテーブルを有することにより、画像を送信する相手先を予め保持しているので、画像に変化があった際にその画像を必要な相手先へ簡易に送ることができる。
本発明の第23の発明は、第8、10、11のいずれかの発明に従属する発明であって、判定手段がセンサによる被写体の感知が有効であると判定する場合に、その有効と判定された画像を通知する通知先情報を記憶するテーブルが設けられたことを特徴とするネットワークカメラである。この構成によれば、カメラが撮像した画像を通知するための画像通知先情報を記憶するテーブルを有することにより、画像を送信する相手先を予め保持しているので、画像に変化があった際にその画像を必要な相手先へ簡易に送ることができる。
本発明の第24の発明は、第1乃至11のいずれかの発明に従属する発明であって、制御部または指示手段が、他のネットワークカメラに対して感知結果を一定周期毎に確認することを特徴とするネットワークカメラである。この構成によれば、制御手段はカメラの撮像方向に感知範囲を有する各複数センサの感知結果を一定周期毎に受け取ることができ、カメラを設置した場所のセンサの感知状況を把握できるので、常時、被写体の監視を行うことができる。
本発明の第25の発明は、第1乃至11のいずれかの発明に従属する発明であって、制御部または指示手段が、他のネットワークカメラに対して感知結果を送るように一定周期毎に依頼することを特徴とするネットワークカメラである。この構成によれば、制御手段はカメラの撮像方向に感知範囲を有する各複数センサの感知結果を送るよう一定周期毎に他のネットワークカメラに依頼することにより、カメラを設置した場所のセンサの感知状況を一定周期毎に把握できるので、常時、被写体の監視を行うことができる。
本発明の第26の発明は、第12又は15の発明に従属する発明であって、画像認識手段の認識結果が判定手段によって有効と判定される一定期間前からの画像が一時的に蓄積される記憶手段を備えたことを特徴とするネットワークカメラである。この構成によって、記憶手段には、判定手段が画像認識手段の認識結果を有効と判定する一定期間前からの画像が蓄積されることになり、判定結果の後に記憶を開始した際でも動く被写体の画像が欠落しないので、被写体の一連の動作を継続して映した画像を得ることができる。
本発明の第27の発明は、第13又は14の発明に従属する発明であって、センサの感知結果が判定手段によって有効と判定される一定期間前からの画像が一時的に蓄積される記憶手段を備えたことを特徴とするネットワークカメラである。この構成によれば、記憶手段には、判定手段がセンサの感知結果を有効と判定する一定期間前からの画像が蓄積されることになり、判定結果の後に記憶を開始した際でも動く被写体の画像が欠落しないので、被写体の一連の動作を継続して映した画像を得ることができる。
本発明の第28の発明は、第1、2、4、8、10、11のいずれかの発明に従属する発明であって、センサが被写体を感知する一定期間前からの画像が一時的に蓄積される記憶手段を備えたことを特徴とするネットワークカメラである。この構成によれば、センサが被写体を感知する一定期間前からの画像が蓄積されることになり、動く被写体の画像が欠落しないので、被写体の一連の動作を継続して映した画像を得ることができる。
本発明の第29の発明は、第3、4、5、6、7、9のいずれかの発明に従属する発明であって、画像認識手段が被写体を認識する一定期間前からの画像が一時的に蓄積される記憶手段を備えたことを特徴とするネットワークカメラである。この構成によれば、画像認識手段が被写体を認識する一定期間前からの画像が蓄積されることになり、動く被写体の撮像画像が欠落しないので、被写体の一連の動作を継続して映した画像を得ることができる。
本発明の第30の発明は、第11の発明に従属する発明であって、優先順位が、他のネットワークカメラの中で、本ネットワークカメラに近いネットワークカメラほど高いことを特徴とするネットワークカメラである。この構成によって、優先順位を本ネットワークカメラに近いカメラほど高いこととすることより、本ネットワークカメラにより近い他のネットワークカメラの通知を判定基準とするので、正確な被写体の感知結果を得ることができる。
本発明の第31の発明は、第11の発明に従属する発明であって、優先順位が、他のネットワークカメラの中で感度が高いセンサを有するネットワークカメラほど高いことを特徴とするネットワークカメラである。この構成によれば、感度が高いセンサを有するネットワークカメラほど優先順位が高いことになり、感度の高いセンサを有する他のネットワークカメラからの通知を基に判定するため、正確な被写体の感知結果を得ることができる。
本発明の第32の発明は、第7乃至10のいずれかの発明に従属する発明であって、判定条件が、端末装置から設定変更できることを特徴とするネットワークカメラである。この構成によれば、状況に合わせたネットワークカメラの判定条件を設定できるので、使い勝手の良いネットワークカメラが得られる。
本発明の第33の発明は、第1乃至11のいずれかの発明に従属する発明であって、カメラの撮像方向は、端末装置から設定変更できることを特徴とするネットワークカメラである。この構成によれば、監視したい位置に合わせてネットワークカメラの向きを変えることができるので、監視体制を簡易に強化できるネットワークカメラが得られる。
本発明の第34の発明は、第7乃至11のいずれかの発明に従属する発明であって、指示手段が指示を出す対象となる他のネットワークカメラを端末装置から変更できることを特徴とするネットワークカメラである。この構成によれば、監視場所の状況に合わせて他のネットワークカメラが撮像方向へ向くよう指示を行うので、監視体制を簡易に強化できるネットワークカメラが得られる。
本発明の第35の発明は、第1のネットワークカメラが複数のセンサの中で被写体を感知したセンサの感知範囲へカメラの向きを変えると共に、変更するカメラの向きを第2のネットワークカメラへ通知してカメラの向きを変えるように指示し、第2のネットワークカメラが感知範囲へカメラの向きを変えることを特徴とするネットワークカメラシステムである。この構成によれば、センサが被写体を感知した感知範囲へ第2のネットワークカメラの撮像方向を向けさせることができ、複数のカメラが異なる角度から同一の被写体を撮像するので、被写体の全体像を撮像することができる。
本発明の第36の発明は、第1のネットワークカメラが撮像した画像の変化の有無で被写体を感知したとき、被写体の感知範囲の位置情報を第2のネットワークカメラへ通知してカメラの向きを変えるように指示し、位置情報に基づいて第2のネットワークカメラがカメラの向きを変えることを特徴とするネットワークカメラシステムである。この構成によれば、センサが被写体を感知した感知範囲へ第2のネットワークカメラの撮像方向を向けさせることができ、複数のカメラが異なる角度から同一の被写体を撮像するので、被写体の全体像を撮像することができる。さらに、カメラから被写体の死角となる部分が生じないように複数のネットワークカメラを配置することができるので、どのような場所においても被写体の全体像を確実に撮像することができる。
本発明の第37の発明は、第1のネットワークカメラがそのカメラの撮像範囲内で被写体の動きを検知し、被写体が撮像範囲の端部へ移動したと認識したとき、カメラの撮像範囲の端部と撮像範囲が重なる第2のネットワークカメラへ通知し、第2のネットワークカメラがそのカメラの撮像範囲の端部から撮像を開始することを特徴とするネットワークカメラシステムである。この構成によれば、動く被写体が第1のネットワークカメラの撮像範囲の端部へ移動したとき、この撮像範囲の端部と重複する撮像範囲を有する第2のネットワークカメラへ被写体の撮像を開始させることができ、被写体の動きに伴って撮像するので、複数台のネットワークカメラで撮像する場合であっても被写体の画像を途切れることなく連続してカメラで撮像することがきる。
本発明の第38の発明は、第1のネットワークカメラが被写体を感知したとき、複数の第2のネットワークカメラに被写体の方向へカメラの向きを変えるように指示し、被写体を感知した第2のネットワークカメラの数が所定の判定条件を充たした場合に感知結果が有効であると判定することを特徴とするネットワークカメラシステムである。この構成によれば、第1のネットワークカメラが被写体を感知した感知範囲へ第2のネットワークカメラの撮像方向を向けさせることができ、複数のカメラが異なる角度から同一の被写体を撮像するので、被写体の全体像を撮像することができる。また、画像の変化を認識した第2のネットワークカメラの数が判定条件を充たした場合に、画像認識手段の認識結果の有効と判定する判定手段を設けるため、判定ミスを軽減できるので、正確な画像認識の結果を得ることができる。
本発明の第39の発明は、第1のネットワークカメラが第2及び第3のネットワークカメラに対して被写体を検知できたか否かの感知結果を一定周期毎に確認又は送るように依頼し、第2のネットワークカメラが被写体を検知できた旨の感知結果を通知したとき、第1のネットワークカメラが第3のネットワークカメラに被写体の方向へカメラの向きを変えるように指示することを特徴とするネットワークカメラシステムである。この構成によって、第1のネットワークカメラが第2及び第3のネットワークカメラの感知結果を一定周期毎に受け取ることができ、一定周期で複数のネットワークカメラを設置した場所のセンサの感知状況を把握できるので、常時、被写体の監視を行うことができる。
(実施例1)
本発明の実施例1におけるネットワークカメラとネットワークシステムについて説明する。実施例1のネットワークカメラとネットワークシステムは、センサによって被写体を検出し、複数台のネットワークカメラのマルチ画面表示を行うものである。図1は本発明の実施例1におけるネットワークカメラシステムの構成図、図2は本発明の実施例1におけるネットワークカメラの構成図である。
図1はネットワークカメラシステムの構成を示し、ネットワークカメラが使用される環境を示している。図示されたネットワークカメラA〜E(以下、カメラA〜Eという)は画像サーバとしての機能を有しており、インターネット、Ethernet(登録商標)等のネットワークに接続されている。また、このネットワークにはカメラA〜Eの操作/設定が可能で、その画像の配信を受けることができるコンピュータ(以下、PC)が接続されている。
PCから、カメラA〜Eの各IPアドレスIpA〜IpE、例えば「192.168.0.151」〜「192.168.0.155」などのIPアドレスに対して、所定のプロトコルTCP/UDP、IP、HTTP等でWebブラウザ等によってアクセスすることにより、カメラA〜Eが撮像した画像を閲覧したり、カメラA〜Eの操作/設定を行ったりすることができる。
また、カメラA〜Eには焦電センサ等の人感センサなどのセンサを1個または2個以上接続することができる。図1においてはカメラAにセンサA1,A2、カメラCにセンサC1,C2、カメラEにセンサE1,E2が接続されている。センサが人間のように熱を発する熱源を検知すると、カメラA〜Eはその検出信号を受け、これをトリガとして、画像の記録、転送、センサが動作した旨の通知等を行う。センサが2個以上接続される場合はそれぞれ検出エリアが異なるように設置される。
続いて、図2に基づいてとくにネットワークカメラの内部構成について説明する。図2は図1のネットワークカメラの構成を詳細にするもので、1は図1で説明したネットワークカメラ、2は同じく図1で説明したインターネット、Ethernet(登録商標)等のネットワーク、同様に、3はPC(本発明の外部端末)である。PC3は、ネットワークカメラ1を制御するため、CGIやアプレット等によりカメラの制御を行う。ネットワークカメラ1はPC3からの制御によって各部設定や動作を行い、要求された画像情報等をPC3へ送信する。なお、本発明に言う外部端末はPC3だけに限られるものではない。外部端末はネットワーク2に接続し、ネットワーク2経由でネットワークカメラ1に接続可能な端末であればよい。通信方式も有線、無線のいずれの方式でもよく、無線で接続する代表的な端末の例をあげると、例えば携帯電話などがある。
ネットワークカメラ1の構造をさらに説明すると、図2に示す11は被写体の画像をCCDなどの撮像素子に結像するレンズである。12は撮像素子を搭載した画像入力部であり、結像された画像情報を光電変換する。また、13は画像処理部であり、画像入力部から出力された画像情報信号を輝度信号/色信号(例えば、Y/Cb,Cr)に分離し、所定の信号処理(レベル調整、ホワイトバランス等)を施す。さらに、画像伝送に必要なリサイズ処理、JPEG等の形式に圧縮処理を行う。なお、このレンズ11と画像入力部12、画像処理部13がカメラを構成する部分であり、本発明の請求項1などに言うカメラである。
次に、図2において、14はネットワークインターフェース、15はハードウェアとしてのCPUとこれを動作させるためのプログラムとから構成されたカメラ制御部である。ネットワークインターフェース14は画像処理部13からの出力信号をネットワーク2に伝送可能な形態に変換(ヘッダ付加、パケット化、その他の附帯信号付加等)し、ネットワーク2へ送信する。また、ネットワークインターフェース14は、逆にネットワーク2からの信号を受信し、カメラ制御部15へ伝送する。
カメラ制御部15では、ネットワーク2を通して送られてきた信号に応じて、ネットワークカメラ1の状態制御(画像情報信号処理、画像サイズ、圧縮方法等の画像処理部13における各種設定、ネットワーク設定、アングル制御)を行う。ここで、アングル制御はカメラの向きをパン/チルトするものである。なお、パンは水平方向、チルトは垂直方向の動作を意味する。図2において、15aはカメラ制御部15に設けられ、ユーザのID、パスワードを自動認証し、その状態制御を行うCGIプログラム等の手段で構成された指示手段である。ここで、図2に示す15a1は、ネットワークカメラ2から送られてきた状態制御の通知から情報を取り出す受信手段である。
例えば、他のネットワークカメラ1からHTTP若しくは所定のカメラ間通信プロトコルでアングル制御の指令を受信すると、カメラ制御部15の指示手段15aはパン/チルト制御部17(後述)にモータ等を回転させて例えば5°刻みでパン/チルトするように命じる。また、他のネットワークカメラ1からアングル制御を行った旨の通知を受信し、アングル制御する旨の依頼を受けたときも、この通知と依頼に基づいて指示手段15aは自発的にパン/チルト制御部17に対してパン/チルトさせるように指令するようにすることもできる。さらに、PC3から所定のプロトコルで各種の設定を行う信号が送られてくると、これに応じて設定値を書き換えることなども行う。PC3との通信はHTTPのほかSMTP、FTP等のプロトコルでも可能である。
16はカメラ制御部15を動作させるためのプログラムとその他の制御を行うとき必要な情報テーブルを保持する記憶装置部(本発明の記憶手段)、16aは被写体位置とプリセット位置との対応や他のネットワークカメラ1のIPアドレス等を関係付けた情報テーブルである。記憶装置部16には撮像後送信されることになった録画画像のデータも蓄積される。これらは不揮発性の書き換え可能なメモリ部分に蓄積される。
ところで、実施例1においては記憶装置部16内の書き換え可能なメモリ部分に、画像入力部12から出力された画像情報を1フレーム(画面を構成する画像取得範囲)分ごとキャプチャーする第1メモリと、所定のフレーム分前の画像情報(本発明の所定期間前からの画像情報)を記憶する第2メモリが設けられている。第1,第2メモリはバッファ部を構成する。なお、第2メモリを設けずに、第1メモリだけを設け、この第1メモリに所定フレーム分前からの画像情報をキャプチャーするのも好適である。また、記憶装置部16内に第1,第2メモリ若しくは第1メモリからなるバッファ部を設けるのではなく、上述した画像処理部13内にバッファ部13a設けるのでもよい(これについては実施例2参照)。
センサ部18(後述)によって被写体を検知したときは、第2メモリに記憶していた所定フレーム分前の画像情報の解像度変換処理及び圧縮処理等を行って送信する。そしてこの所定フレーム分の圧縮データの生成が終了する時点には、第1メモリの新たな画像情報のキャプチャーが完了しているので、新たな画像情報を使って第2メモリの記憶内容を更新し、生成した圧縮データを送信する。送信後、上述した通りこのデータは記憶装置部16に録画される。
また、上記構成では、画像入力部12から出力された画像情報をバッファ部13aにそのまま記憶するため必要な記憶容量が大きくなるから、圧縮処理等を施してからバッファ部に蓄積するのも好適である。この場合、センサ部18によって被写体を検知したとき、第2メモリまたは第1メモリだけの場合は第1メモリの圧縮データを送信(転送)すると共に、この圧縮データを記憶装置部16に録画することになる。
次に、17はネットワーク2より送られてきたパン/チルト制御情報や予め設定されているプリセット位置情報に応じてカメラのアングル制御を行うパン/チルト制御部である。なお、ズーム機能を有するカメラの場合には、パン/チルト制御部17に代えてパン/チルト/ズーム制御部を搭載し、アングル制御に加えてズーム制御も行う。
次に、18は焦電センサ等により人物等を検出するセンサ部である。センサ部18はネットワークカメラ1に外付けしてケーブル等で検出信号を伝送するのでも、ネットワークカメラ1に内蔵するのでもよい。1台のネットワークカメラ1に1個または2個以上のセンサ部18を設置することができる。そして、19はセンサ部18が動作したことを検出し、カメラ制御部15にその旨を伝送するセンサ動作検知部である。カメラ制御部15は、センサ動作検知部19からセンサ部18による検出があった旨の信号が通知されると、ネットワークカメラ1の設定に従って画像を録画し、画像転送、その他の情報送信等を行う。
続いて、図3、図4、図5に基づいて本発明の実施例1におけるネットワークカメラ1のセンサによる動体検知の概要を説明する。図3は本発明の実施例1におけるネットワークカメラシステムのセンサによる動体検知の全体図、図4(a)は本発明の実施例1におけるネットワークカメラシステムの各センサと各カメラのプリセット位置、IPアドレスの対応関係図、図4(b)は(a)の各センサで同一のプリセット位置に対応しているセンサの対応関係を示した図、図5は本発明の実施例1におけるネットワークカメラシステムのネットワークカメラAの各種情報テーブル図、図6は本発明の実施例1におけるネットワークカメラシステムのネットワークカメラBの各種情報テーブル図である。
図3に示すように、ネットワークカメラ1であるカメラAにはセンサA1,A2が接続されており、AP1〜AP3の3ポイントのプリセット位置が設定されている。また、カメラCにはセンサC1,C2が接続され、CP1〜CP4の4ポイントのプリセット位置が設定されている。カメラEにはセンサE1,E2が設置され、EP1〜EP4の4ポイントのプリセット位置が設定されている。なお、カメラB,Dにはセンサは接続されていないが、カメラBにはBP1〜BP4の4ポイントのプリセット位置が設定されており、カメラDにはDP1〜DP3の3ポイントのプリセット位置が設定されている。
そして、図4(a)は各センサと各カメラのプリセット位置及び各カメラのIPアドレスの対応関係を示しており、図4(b)は各センサで同一のプリセット位置に対応しているものの対応関係を示している。センサA1の感度範囲位置にプリセット位置AP1が対応し、センサC2及びセンサE2の感度範囲位置に対してプリセット位置AP2が、また、センサA2及びセンサC1の感度範囲位置に対してプリセット位置AP3が対応している。言い換えれば、カメラAのレンズ11をプリセット位置AP1に向けるとセンサA1の感度範囲位置の画像が取得でき、カメラAのレンズ11をプリセット位置AP2に向けるとセンサC2(これはセンサE2の感度範囲位置でもある)の感度範囲位置、プリセット位置AP3にレンズ11を向けるとセンサA2(これはセンサC1の感度範囲位置でもある)の画像が取得できる。
このためカメラAの記憶装置部16の内蔵テーブルには、各カメラA〜EのIPアドレスと関係付けられた図5の(a)(b)(c)で示す情報テーブルが設定されている。ここで、図5の(a)に示すカメラAの情報テーブルは、例えば、センサA1の感度範囲位置に対して、カメラA自身のプリセット位置AP1、また、カメラB(IPアドレスIpB)のプリセット位置BP2、さらに、カメラC(IPアドレスIpC)のプリセット位置CP2、カメラD(IPアドレスIpD)のプリセット位置DP1、カメラE(IPアドレスIpE)のプリセット位置EP4が対応していることを示している。なお、図5の(a)の情報テーブルは、センサを備えたネットワークカメラ1で共通するテーブルである。従って、カメラC,Eも同様の情報テーブルとなる。
図5の(a)に示す情報テーブルのほか、図5の(b)に示すような各センサごと、ここではセンサA1,A2ごとに共通の感度範囲位置を持つ他のカメラのセンサを対応させた情報テーブルも設定しておくのがよい。例えば、センサA2に対して、カメラCのセンサC1を関係付けられ、そのIPアドレスIpCが格納される。
さらに、図5の(c)に示すようにカメラAのプリセット位置AP1〜AP3に対応するセンサを関係付けて設定しておくのがよい。これにより、カメラAは、被写体が検出された感度範囲位置がプリセット位置AP1であれば、自身のセンサA1でこの被写体を検出可能であり、被写体がプリセット位置AP2に存在する場合は、カメラCのセンサC2、または、カメラEのセンサE2で被写体を検出できることが分かる。同様に、被写体がプリセット位置AP3に存在すれば、自身のセンサA2、または、カメラCのセンサC1で被写体を検出できる。
これに対して、図6の(a)(b)に示すようにカメラBには自身にセンサが設けられておらず、他のネットワークカメラのプリセット位置と関係付けられているだけである。すなわち、BP1〜BP4の4ポイントのプリセット位置が設定されている。そこで、図6(b)のようにセンサE1の感度範囲位置がプリセット位置BP1、センサA1の感度範囲位置がプリセット位置BP2、センサA2及びセンサC1の感度範囲位置がプリセット位置BP3、センサC2及びセンサE2の感度範囲位置がプリセット位置BP4に対応付けられている。そして、内蔵テーブルには各カメラのIPアドレスと関係付けられた情報テーブルが設定される。これにより、例えば、カメラBのプリセット位置BP1に対しては、カメラE(IPアドレスIpE)のセンサE1が関係付けられ、プリセット位置BP2に対しては、カメラA(IPアドレスIpA)のセンサA1などが関係付けられる。プリセット位置BP3,BP4も同様に、センサA2,センサC1,センサC2,センサE2が関係付けられる。
さらに、カメラAと同様にセンサを有すネットワークカメラであるカメラCについては、図5の(a)(b)(c)のような情報テーブルは図示しないが、カメラCはセンサC1とセンサC2が接続され、CP1〜CP4の4ポイントのプリセット位置が設定されている。図3に示すように、センサA2及びセンサC1の感度範囲位置に対応してプリセット位置CP1、センサA1の感度範囲位置に対してプリセット位置CP2、センサE1の感度範囲位置に対してプリセット位置CP3、センサC2及びセンサE2の感度範囲位置に対してプリセット位置CP4が設定されている。内蔵テーブルに図5の(a)(b)(c)と同様な情報テーブルが設定される。
さらに、カメラDに対してもDP1〜DP3の3ポイントのプリセット位置が設定されている。カメラBと同様にカメラD自身にはセンサが設けられていない。例えば、センサA1の感度範囲位置に対応してプリセット位置DP1、センサE1の感度範囲位置に対してプリセット位置DP2、センサC2及びセンサE2の感度範囲位置に対してプリセット位置DP3が設定される。カメラDの記憶装置部16の内蔵テーブルには図6の(a)(b)と同様な情報テーブルが設定される。
そして、カメラEにはカメラAと同様、センサE1とセンサE2が接続され、EP1〜EP4の4ポイントのプリセット位置が設定されている。センサE1の感度範囲位置に対応してプリセット位置EP1、センサA2及びセンサC1の感度範囲位置に対してプリセット位置EP2、センサC2及びセンサE2の感度範囲位置に対してプリセット位置EP3、センサA1の感度範囲位置に対してプリセット位置EP4が設定される。内蔵テーブルにはカメラAと同様な情報テーブルが設定される。
なお、この情報テーブルにおいて関係付けられるIPアドレスは、IPアドレスに限られない。MACアドレスやネットワークカメラ1間でホスト名を一意的に設定することによりホスト名でも可能である。すなわち、例えばカメラAの場合、IPアドレスIpA「192.168.0.151」の代わりに、MACアドレス「0080FF445510」、ホスト名「camera001」でよく、カメラBの場合、例えばIPアドレスIpB「192.168.0.152」に代えてMACアドレス「0080FF445520」、ホスト名「camera002」でもよい。カメラC,D,Eでも同様である。なお、ホスト名などを使用した場合はDNSサーバなどを設ける必要がある。
さて、本発明の実施例1のネットワークカメラとネットワークシステムでは、1つのカメラのセンサがある位置で被写体を検出したとき、その位置に向くことが可能な他のネットワークカメラをすべてその位置に向ける。例えば、待機状態のカメラAがセンサA1で被写体を検知したとき、カメラAはその旨を通知し、カメラBをプリセット位置BP2、カメラCをプリセット位置CP2、カメラDをプリセット位置DP1、カメラEをプリセット位置EP4にパン/チルトさせる。このため図7(a)に示すように、カメラAから例えばカメラBに被写体を検出した感度範囲位置に向くように、HTTP若しくはカメラ間通信プロトコルでアングル制御の指令を送信する。図7(a)は本発明の実施例1におけるネットワークカメラ間の情報伝達を説明する図、図7(b)はログイン情報の説明図、図7(c)は通知先メールアドレスの説明図である。なお、指令は自発的にアングル制御するように依頼するのでもよい。本発明の「カメラの向きを変えるように指示する」とは、このような指令を送信してアングル制御を命じるか、またはアングル制御の依頼を行うことである。カメラBでは、カメラ制御部15がCGI等によってパン/チルト制御部17にアングル制御を命じ、カメラBの向きが変更されてセンサA1で被写体を検知した方向にパン/チルトされる。なお、全カメラが被写体を検知し、他カメラに指令を出してもよい。
各カメラ間の情報伝達はHTTPやカメラ間通信プロトコルで実現される。HTTPによる情報伝達は、カメラA〜Eがそれぞれサーバ機能を有しているため、所定のURLに対してPOSTメソッドを使用しCGIプログラム等を起動することで行われ、このメソッドで送信された情報をカメラA〜Eに渡し、カメラA〜Eからは画像情報の通知や画像通知等を行うものである。この画像通知の画像がHTML等で表示される。このHTTPによる情報伝達は、いわゆるIPパケットによって行われ、MAC,IP,TCP/UDPの各ヘッダ部と、可変長のデータ部、終端のブロックから構成されたパケットとなる。図7(b)に示すように、CGIプログラムを起動するためには、通知先のIPアドレスのほか、通知先にログインするための情報として、ID「XXX」、パスワード「YYY」が要求される。なお、プロキシサーバ、プロキシサーバポートを設定することもできる。
例えば、カメラAがHTTPで通信する場合、情報テーブル16aを参照し、格納されているのがIPアドレスの場合は(1)接続先のIPアドレス、例えば「192.168.0.151」でHTTPによる要求送信、(2)応答受信の手順で通信する。また、情報テーブル16aに格納されているのがホスト名の場合は(1)接続先ホスト名、例えば「camera002」をDNSに問い合わせ、(2)これから取得されたIPアドレスに対してHTTPによる要求送信、(3)応答受信の手順で通信する。
これに対し、カメラ間通信プロトコルはカメラA〜Eが共通して使用できるプロトコルであればよく、このパケットは、例えば、固定長のヘッダ部、可変長のデータ部、終端、及びチェックサムの4ブロックから構成すればよい。このヘッダ部にはMACアドレス、例えば「0080FF445510」や、予め取り決められているオペレーションコードが入る。送信元のカメラAはパケット送信に必要な情報をセットし、カメラB〜Eはこのパケットを受け取り、指示手段15aがオペレーションコードを解釈して、このコードに応じた所定の動作を行う。例えば、カメラAから送信されたカメラ間通信プロトコルのパケットのオペレーションコードがプリセット位置BP2に向く指令であれば、カメラBはプリセット位置BP2にレンズを向け、画像を取得することができる。
さて、実施例1においては、カメラAはHTTPやカメラ間通信プロトコルでカメラB〜Eにプリセット位置を変更する指令を行った後、画面表示をマルチ画面表示に切り換え、カメラA〜Eのそれぞれで画像録画を行う。これに対してPC3からHTTP等を使って要求送信を送ると、カメラAからはカメラA〜Eの各画像をマルチ画面表示に配置して表示するためのHTML等の画像通知をPC3に通知する。なお、画像通知はHTTPに限られず、SMTPを使った電子メールやFTP等で行うのでもよい。電子メールの場合の画像通知先情報(メールアドレス)を一例として示すと、情報テーブル16aの内容は図7(c)のようになり、各カメラA〜Eはこのような全画像通知先情報それぞれを格納することになる。しかし、1台のカメラ、例えばカメラAだけが情報テーブルを持ち、他のカメラB〜Eに対して通知先を処理通知のときに通知するのでもよい。
次に、図8に基づいて実施例1のネットワークカメラ1のセンサによって被写体を検知してマルチ画面表示を行う動作シーケンスについて説明する。ここでは図3に示すようなカメラA〜Eが同一被写体をセンサで撮像して、ネットワーク2経由でPC3にマルチ画面表示を行う場合を説明する。図8は本発明の実施例1におけるネットワークカメラのマルチ画面表示を行う動作シーケンス図である。
カメラAが待機状態にあるとき(sq1)、センサA1で被写体を検知すると(sq2)、カメラAは図5(a)に示す情報テーブルを参照し、センサA1の感度範囲に対応する他のカメラB〜Eのプリセット位置情報を取得する(sq3)。
この情報テーブルにより、自身(カメラA)のカメラに対して待機状態のプリセット位置からプリセット位置AP1に移動させ(sq4)、カメラB(IPアドレスIpB)に対してプリセット位置BP2に向きを変える旨の指令を通知し、この位置に移動させる(sq5)。また、カメラC(IPアドレスIpC)に対してはプリセット位置CP2に向きを変える旨の指令を通知し、この位置に移動させ(sq6)、カメラD(IPアドレスIpD)に対してはプリセット位置DP1に向きを変える旨の指令を通知し、この位置に移動させる(sq7)。そして、カメラE(IPアドレスIpE)に対してプリセット位置EP4に向きを変える旨の指令を通知し、この位置に移動させる(sq8)。
その後、カメラAでは、カメラAの画像と同一画面上にカメラB〜Eの画像を表示できるように、PCの表示をマルチ画面表示に切り換え(sq9)、同時にカメラB〜Eに対して画像取得およびその通知を要求する。カメラBはプリセット位置BP2の画像を取得してカメラAに画像情報の通知を行う(sq10)。また、カメラCはプリセット位置CP2の画像を取得してカメラAに画像情報の通知を行い(sq11)、カメラDはプリセット位置DP1の画像を取得してカメラAに画像情報の通知を行い(sq12)、カメラEではプリセット位置EP4の画像を取得してカメラAに画像情報の通知を行う(sq13)。
カメラAでは、カメラB〜Eから画像情報を取得して対象画像を画面上でそれぞれ表示するためのマルチ画面表示とする(sq14)。複数のカメラが異なる角度から同一の被写体を撮像するので、被写体の全体像を撮像し、閲覧することができる。各カメラA〜Eでは撮像した画像を録画し(sq15〜19)、各カメラA〜EからPCやサーバへFTP転送やメール等により画像通知を行う(sq20〜24)。なお、マルチ画面表示にするか否か、録画の有無、通知の有無はPCからの設定で選択することが可能である。
このように実施例1のネットワークカメラは、インターフェースを介してセンサが被写体を感知した感知範囲へ他のネットワークカメラの撮像方向を向けさせることにより、複数のカメラが異なる角度から同一の被写体を撮像するので、被写体の全体像を撮像することができる。
なお、以上の説明においては、カメラAがカメラB〜Eから画像情報を取得してマルチ画面表示を行う動作として説明したが、カメラAからの情報により画像を表示するPCにおいて、直接カメラA〜Eそれぞれの画像情報を取得して、マルチ画面表示を行うことにしてもよい。
(実施例2)
本発明の実施例2におけるネットワークカメラとネットワークシステムについて説明する。実施例2は画像認識によって被写体の検出を行うネットワークカメラとそのネットワークシステムである。センサは熱に反応して被写体を検知したが、画像認識による場合は被写体の動きを検出するものである。実施例2は実施例1と同様に、複数台のネットワークカメラのマルチ画面表示を行うものである。図9は本発明の実施例2におけるネットワークカメラシステムの画像認識による動体検知の全体図、図10は本発明の実施例2におけるネットワークカメラの構成図、図11は本発明の実施例2におけるネットワークカメラシステムの被写体位置とネットワークカメラのプリセット位置の対応図、図12(a)は本発明の実施例2におけるネットワークカメラシステムのカメラAの情報テーブル図、図12(b)はカメラBの情報テーブル図、図12(c)はカメラCの情報テーブル図、図13は本発明の実施例2におけるネットワークカメラのマルチ画面表示を行う動作シーケンス図である。
(実施例2)
図9〜図13に基づいて本発明の実施例2におけるネットワークカメラ1の画像認識による動体検知の概要を説明する。図9に示すように、カメラAはAP1〜AP4の4ポイントのプリセット位置が設定可能になっており、IPアドレスIpA〜IpCも格納されている。被写体位置1に対してはプリセット位置AP1,BP2,CP2が関係付けられ、このプリセット位置が設定されているときはカメラA〜Cで被写体位置1の画像を取得できる。また、被写体位置2に対してはプリセット位置AP2,BP3が関係付けられ、このプリセット位置が設定されているときはカメラA,Bで被写体位置2の画像が取得できる。この関係は、図11に示した被写体位置とプリセット位置の対応図のとおりである。
続いて、図10に基づいて実施例2のネットワークカメラの構成について説明する。実施例2は実施例1と基本的に同一の構成を有しており、同一符号は同一構成を示すものであるから、これらの詳細については実施例1に説明を譲り、実施例2に特有の構成について説明する。図10において、1はネットワークカメラ、2はネットワーク、3はPCである。また、11はレンズ、12は撮像素子を搭載した画像入力部、13は画像処理部、14はネットワークインターフェース、15はカメラ制御部、15aは指示手段、15a1は受信手段であり、16は記憶装置部、16aは情報テーブル、17はパン/チルト制御部である。なお、実施例2は画像認識によって動体検知を行うため必ずしも必要ないことから図10には図示していないが、複数のプリセット位置のうち一部でセンサ部18によって被写体を検知することも可能である。全部のプリセット位置で画像認識とセンサによって同時に動体検知することもできる。なお、このとき図10の構成に図2に示すセンサ部18、センサ動作検知部19が必要に応じて設置される。
次に、実施例2のネットワークカメラに設けられた手段について説明する。13aは画像処理部13に設けられたバッファ部(本発明の一次的に蓄積される記憶手段)である。バッファ部13aには画像入力部12から出力された画像情報を1フレーム分ごとキャプチャーする第1メモリと、所定のフレーム分前の画像情報を記憶する第2メモリが設けられている。露光時間の長短が選択できるような場合には、この選択を行うために第2メモリには少なくとも2フレーム分が記憶される。なお、実施例1で説明したと同様に第2メモリを設けずに、第1メモリだけを設け、この第1メモリに所定フレーム分前からの画像情報をキャプチャーするのが、構成的に簡単になる。
ネットワークカメラ1には常時撮像を行うアクティブタイプと、被写体を検知したときに撮像を開始するパッシブタイプがあるが、画像認識によってアクティブタイプの動体検知を行う実施例2の場合、このような検知方式をとらないネットワークカメラとは異なって、キャプチャーが完了した画像に対し、指定した画像サイズや解像度、またはデータサイズに変更し、画像認識を行う。動体なしと判断された画像はJPEG等の形式に圧縮処理などして第2メモリに記憶しておく。常に最新画像に対し画像認識を行い、被写体を検知した時点で第2メモリに記憶していた所定フレーム分前の画像情報を送信する。この際並行して第1メモリに新たな画像情報のキャプチャーが完了しているので、この画像にも同様の処理を行い、第2メモリの記憶内容を更新すると共に、画像サイズの変更、圧縮処理などを行った画像を送信することができる。被写体検知後、この圧縮データは記憶装置部16内に録画される。
なお、画像認識でなく併装備されたセンサ部18によって被写体を検知した場合は、実施例1で説明したと同様に被写体を検知した時点に第2メモリに記憶していた所定フレーム分前の画像情報を送信すればよい。
次に、図10において画像認識を行う機能について説明する。図10のカメラ制御部15内に示した15bは、画像入力部12から出力された1フレーム分の画像情報信号をフレーム単位で輝度信号の差分をとり、差分に所定の変化があった場合に画像に変化があった場合と判定し、被写体が動体であると判断する画像認識手段である。画像認識手段15bが画像に変化があったと判断した場合、動体が検知されたとして、カメラ制御部15は所定の動作を開始する。
動体であるとの判断は、例えば1フレームが横640ピクセル×縦480ピクセルの場合、各走査で得られた前後2フレームのデータ間の差分をとり、横640ピクセル×縦480ピクセルの中で両フレームの輝度信号が変化した部分を抽出し、この位置がプリセット位置の画面上にあれば、また、必要ならさらに詳細に1フレーム上の分割されたどこのエリアに位置するかを判断すれば、他のネットワークカメラ1の向くべき撮像方向が判定できる。
実施例2における指示手段15aは、画像認識手段15bが画像に変化があったと認識したとき、情報テーブルによって該当するプリセット位置を有するネットワークカメラ1があったときには、これを検知すべくこの変化があった撮像方向に向くように指示する。従って、この指示手段15aは、同一被写体に対して他のネットワークカメラ1の撮像方向を1エリアまたは1点に集中させるような指令を行うことになる。
15cは、画像認識手段15bが動体と認識した場合、指示手段15aの指示に基づいてネットワークインターフェース14を介して他のネットワークカメラ1を画像に変化のあった方向へ向くように通知する通知手段である。
また、15dはセンサ部18や画像認識手段15bが動体ありと判断したとき、また、他のネットワークカメラ1が行った所定の判定条件を基に、判定結果を有効と判定する判定手段である。後者の場合、例えば動体検知を行ったネットワークカメラ1が所定数以上または所定の割合以上の場合、あるいは優先順位で優先度の高いネットワークカメラ1が動体ありの判断を行った場合に、判定結果を有効と判定する。
なお、優先度で判断する場合には、予め各ネットワークカメラ1と対応した優先順位を記憶装置部16内のテーブルに記憶しておく必要がある。優先順位の高いものとしては、最初に動体検知を行ったネットワークカメラ1から距離が近いものを優先度の高いものと評価するもの、感度の高いセンサを備えているものを優先度の高いものと考えるものなどがある。そして、判定手段15dが有効と判定した場合には、カメラ制御部15内の制御手段(図示しない)がバッファ部13a内の送信可能な画像データを記憶装置部16内に録画する。
ところで、ネットワークカメラ1には、記憶装置部16に各カメラA〜CのIPアドレスと、図12(a)〜(c)で示すような情報テーブルが関係付けられて設定されている。図12(a)に示すように、カメラAの記憶装置部16内に格納された情報テーブルには、上述したプリセット位置AP1,AP2,AP3,AP4の4ポイントがセット可能で、図9に示すように被写体位置1,2を検知できるプリセット位置AP1,AP2に対してカメラBのプリセット位置BP2,BP3がそれぞれ関係付けられ、且つ、被写体を検知した旨の通知を行うためのカメラBのIPアドレスIpBが格納されている。同様に、カメラAのプリセット位置AP1はカメラCのプリセット位置CP2と関係付けられ、カメラCのIPアドレスが格納されている。
また、図12(b)に示すように、カメラBの情報テーブルには、プリセット位置BP1,BP2,BP3,BP4の4ポイントがセット可能であり、図9に示すように被写体1,2を検知できるプリセット位置BP2,BP3の位置に対してカメラAのプリセット位置AP1,AP2が関係付けられ、且つカメラAのIPアドレスが格納されている。同様に、カメラBのプリセット位置BP2はカメラCのプリセット位置CP2と関係付けられると共に、カメラCのIPアドレスも格納されている。
さらに、図12(c)に示すように、カメラCの情報テーブルには、プリセット位置CP1,CP2,CP3の3ポイントがセット可能で、図9に示すように被写体1を検知できるプリセット位置CP2にカメラAのプリセット位置AP1が関係付けられてIPアドレスが格納され、カメラBのプリセット位置BP2もこのプリセット位置AP1と関係付けられて、IPアドレスが格納されている。
次に、図13に基づいて実施例2のネットワークカメラ1の動体検知によって被写体を捉えてマルチ画面表示を行う動作シーケンスについて説明する。カメラA,B,Cが画像で変化があったことを認識し、ネットワーク2経由でPC3にマルチ画面表示する場合である。
図13において、カメラAが待機状態にあるとき(sq31)、画像認識により画像が変化することで動体が存在することを検知すると(sq32)、カメラAは図12(a)に示す情報テーブルを参照し、プリセット位置AP1に対応する他のカメラB,Cのプリセット位置情報を取得する(sq33)。
この情報テーブルにより、カメラB(IPアドレスIpB)に対してプリセット位置BP2に向きを変える旨の指令を通知し、この位置に移動させる(sq34)。また、カメラC(IPアドレスIpC)に対してプリセット位置CP2に向きを変える旨の指令を通知し、この位置に移動させる(sq35)。
その後、カメラAでは、カメラB,Cから画像情報(URL)を取得したときカメラAの画像と同一画面上にこれらの画像を表示できるように、マルチ画面表示に切り換える(sq36)。カメラBはプリセット位置BP2の画像を取得してカメラAに画像情報の通知を行う(sq37)。また、カメラCはプリセット位置CP2の画像を取得してカメラAに画像情報の通知を行う(sq38)。
カメラAでは、カメラB,Cから画像情報を取得して対象画像を画面上でそれぞれ表示するため、PCの表示をマルチ画面表示に切り換える(sq39)。複数のカメラが異なる角度から同一の被写体を撮像するので、被写体の全体像を撮像し、閲覧することができる。各カメラA〜Cでは撮像した画像を録画し(sq40〜42)、さらに各カメラA〜CからPCやサーバへFTP転送やメール等により画像通知を行う(sq43〜45)。なお、マルチ画面表示にするか否か、録画の有無、通知の有無はPCからの設定で選択することが可能である。
このように実施例2のネットワークカメラは、インターフェースを介してカメラが画像の変化を認識した方向へ他のネットワークカメラの撮像方向を向けさせることにより、複数のカメラが異なる角度から同一の被写体を撮像するので、被写体の全体像を撮像することができる。また、カメラで撮像した画像の変化で被写体の動きを認識することにより、被写体を感知するためのセンサ等を省くことができるので、簡単な装置構成で被写体を検知して他のネットワークカメラの向きを変えることができる。
なお、以上の説明においては、カメラAがカメラB、カメラCから画像情報を取得してマルチ画面表示を行う動作として説明したが、カメラAからの情報により画像を表示するPCにおいて、直接カメラA、カメラCそれぞれの画像情報を取得してマルチ画面表示を行うことにしてもよい。
(実施例3)
本発明の実施例3におけるネットワークカメラについて説明する。実施例3はセンサによって被写体を検出し、これに基づいて複数台のネットワークカメラの検知結果を取得し、判定手段がこれを総合判断して動体の有無(動体検知の有効性)を状況判定するネットワークカメラである。実施例1で説明したセンサを備えたネットワークカメラが、センサによって被写体を検知した後、実施例2で説明した画像認識による動体検知を行う他の複数台のネットワークカメラに対して動体検知させ、自身も動体検知を行い、この検知結果から状況判定を行うものである。図3に示すカメラA〜Eが設置された場合である。従って、図2〜5,9〜11を参照する。図14は本発明の実施例3におけるネットワークカメラのセンサで検知した後に他のネットワークカメラの動体検知と合わせて判定する動作シーケンス図である。
実施例3のネットワークカメラにおいては、図2,10において図示されていないが、図10に示す判定手段15dが被写体ありとの状況判定を行った場合に、検知結果は有効であると判断してPC3に画像通知(転送)を許可する制御手段(本発明の請求項9,10の制御手段)が設けられている。なお、通知手段15cにこのような機能をもたせるのでもよい。
図14において、カメラAが待機状態にあるとき(sq51)、センサA2で被写体を検知すると(sq52)、カメラAは図5(a)に示す情報テーブルを参照し、センサA2の感度範囲に対応する他のカメラB〜Eのプリセット位置情報を取得すると共に、センサA2に対応する他のカメラB〜Eのセンサ情報を取得する(sq53)。センサC1がセンサA2に対応する。
この情報テーブルにより、カメラAはカメラB(IPアドレスIpB)に対してプリセット位置BP3に向きを変える旨の指令を通知し、この位置に移動させる(sq54)。また、カメラC(IPアドレスIpC)に対してはプリセット位置CP1に向きを変える旨の指令を通知し、この位置に移動させると共に、センサC1で検知するように指令する(sq55)。カメラD(IPアドレスIpD)に対してはプリセット位置DP2に向きを変える旨の指令を通知し、この位置に移動させ(sq56)、カメラE(IPアドレスIpE)に対してプリセット位置EP1に向きを変える旨の指令を通知し、この位置に移動させる(sq57)。
その後、カメラAでは情報テーブルにより、自身(カメラA)のカメラに対して待機状態のプリセット位置からプリセット位置AP3に移動し(sq58)、画像認識による動体検知を行う(sq59)。カメラB,D,Eはそれぞれのプリセット位置BP3,DP2,EP1で動体検知を行う(sq60〜62)。このとき、カメラCはプリセット位置CP1に移動して動体検知すると共に、センサC1で被写体を検知する(sq63)。さらに、カメラB〜Eは動体検知、被写体検知をすると共に、画像録画を開始する(sq66〜69)。
カメラAは、カメラB,D,Eの動体検知による検知結果、カメラCの動体検知による検知結果とセンサC1による検知結果を取得すると、これらの情報から所定の判定条件に従って状況判定を行う(sq64)。例えば、カメラ5台全て動体検知が有効、且つセンサC1の検知情報が有効と判断されている場合にのみ動体ありなどと判定する。
このとき動体有りと決定された場合には判定後処理を決定する(sq65)。各カメラA〜Eの録画を有効とする画像録画処理を行い(sq70〜74)、必要な画像通知(転送)を行うよう指示をする(sq75〜79)。
なお、判定条件、画像録画、画像通知はユーザからの設定で変更が可能であって、以上の説明に限られない。さらに、カメラAがセンサA2で検知して、5台のカメラで画像認識による動体検知、センサC1で検知を行うときに、各カメラの動体検知の感度を変更したり(例えば、ネットワークカメラ1から被写体位置との距離に応じて遠いほど感度を上げる)、センサC1の感度を上げたりして、さらに判定の精度を上げることもできる。また、カメラAがセンサA2で検知した場合、各カメラの画像認識による動体検知とセンサC1による検知のうち、一方のみを用いて判定をするなど行うことができる。
このように実施例3のネットワークカメラは、インターフェースを介してセンサが被写体を感知した感知範囲へ他のネットワークカメラの撮像方向を向けさせることにより、複数のカメラが異なる角度から同一の被写体を撮像するので、被写体の全体像を撮像することができる。また、画像の変化を認識した他のネットワークカメラの数が所定数以上の場合、画像認識手段の認識結果の有効と総合的に判定する判定手段を設けることにより、画像認識手段による画像の認識ミスを軽減できるので、正確な画像認識の結果を得ることができる。
(実施例4)
本発明の実施例4におけるネットワークカメラについて説明する。実施例4は画像認識によって被写体を検出し、これに基づいて複数台のネットワークカメラの検知結果を取得し、判定手段がこれを総合判断して被写体の有無を判定するネットワークカメラである。実施例2で説明したネットワークカメラが動体検知した後、動体検知を行う他の複数台のネットワークカメラに動体検知させて、これらに基づいてこの検知結果から状況判定を行うものである。図9に示すカメラA,B,Cが設置された場合である。従って、実施例4でも図9,10,11を参照する。図15は本発明の実施例4におけるネットワークカメラの動体検知した後に他のネットワークカメラの動体検知と合わせて判定する動作シーケンス図である。
実施例4のネットワークカメラにおいても、実施例3と同様に、図2,10において図示されていないが、図10に示す判定手段15dが被写体ありとの状況判定を行った場合に、検知結果は有効であると判断してPC3に画像通知(転送)を許可する制御手段(本発明の請求項9,10の制御手段)が設けられている。なお、通知手段15cにこのような機能をもたせるのでもよい。
図15において、カメラAがプリセット位置AP1の向きに設定された状態のとき(sq81)、プリセット位置AP1で画像認識により被写体を検知すると(sq82)、これを画像録画した後(sq83)、カメラAは図11に示す情報テーブルを参照し、プリセット位置AP1に対応する他のカメラB〜Eのプリセット位置情報とそのIPアドレスを取得する(sq84)。
なお、sq84において、プリセット位置AP1に対応する他のカメラB〜Eのプリセット位置情報を取得するのに代えて、対応するセンサA1がある場合、図5(c)に示すような情報テーブルから対応するセンサA1を取得し、図5(a)に示すような情報テーブルからカメラB〜Eのプリセット位置情報とそのIPアドレスを取得するのでもよい。この場合も以下の動作は同様となる。
この情報テーブルにより図9に示すように、カメラB(IPアドレスIpB)に対してプリセット位置BP2に向きを変える旨の指令を通知し、この位置に移動させる(sq85)。また、カメラC(IPアドレスIpC)に対してはプリセット位置CP2に向きを変える旨の指令を通知し、この位置に移動させる(sq86)。その後、カメラB,Cはそれぞれのプリセット位置BP2,CP2で動体検知を行う(sq87,88)。
カメラAは、カメラB,Cの動体検知による検知結果、カメラA自身の動体検知による検知結果から判定条件に従って状況判定を行う(sq89)。例えば、3台全てにおいて動体検知有効と判断されている場合にのみ動体有りと判定したり、各カメラからの情報に優先順位をつけたりして判定する。そして、動体検知後にカメラB,Cではそれぞれ画像録画を行う(sq90,91)。
sq89において動体有りと決定された場合には判定後処理を決定する(sq92)。カメラAから各カメラB,Cに処理の通知をして、画像録画を有効にする画像録画処理を行い(sq93,94)、カメラA自身も画像録画処理を行い(sq95)、必要な画像通知(転送)を行うよう指示をする(sq96〜98)。このとき、有効と判定された画像のみがPC3へ出力される。
なお、判定条件、画像録画、画像通知は設定により様々な変更が可能であって、以上の説明に限られない。例えば、カメラAが画像認識により動体検知有効と認識し、カメラB,Cで所定のプリセット位置にて動体検知を行うとき、カメラB,Cの動体検知の感度を変更して、さらに精度を上げることもできる。
また、実施例2で説明したように、カメラAのバッファ部13aに画像入力部12からの画像情報を1フレーム分ごとキャプチャーする第1メモリと、所定フレーム分前の画像情報を記憶する第2メモリが設けた構成にすることもできる。この場合、動体検知と同時に録画を開始するのでなく、プリセット位置AP1に設定されている状態において常に現時点よりある一定期間前(所定フレーム分前)の画像を蓄積しておくことができ、画像認識による動体検知が有効と判定された時に、被写体を認識した時点より前の画像から録画し、画像通知することが可能になる。なお、これはセンサ部18によって判定する場合も同様で、この場合、感知結果を有効と判定した時点に所定フレーム分前の画像情報を送信する。
(実施例5)
本発明の実施例5におけるネットワークカメラについて説明する。実施例5は他のネットワークカメラに対して画像認識を用いた動作検知結果を一定周期で確認し、1台のネットワークカメラで動体検知したときはマルチ画面表示するネットワークカメラである。この場合も図8に示すカメラA,B,Cが設置された場合である。従って、図9,10,11を参照する。図16は本発明の実施例5におけるネットワークカメラが他のネットワークカメラに動体検知を一定周期毎に確認し他のネットワークカメラの動体検知と合わせて表示する動作シーケンス図である。
実施例5におけるネットワークカメラは、図2,10のカメラ制御部15が各ネットワークカメラに対して確認するため、一定周期毎に動体検知結果を要求するか、一定周期毎に動体検知を行うように依頼し、その検知結果を通知してもらうか、のいずれかの確認方法が実行できる。すなわち、HTTPの場合で説明すると、前者の場合、他のネットワークカメラに動体検知を命じて検知結果を通知してもらうことになるが、後者の場合、確認の依頼を行った後自発的に動体検知をしてもらいその検知結果の通知を受けることになる。なお、図示はしないが、各ネットワークカメラのカメラ制御部15には計時手段が設けられており、各ネットワークカメラに確認を行うための一定周期の時間をカウントする。
図16において、カメラAがプリセット位置AP3の向きに設定された状態であり(sq101)、カメラBがプリセット位置BP2の向きに設定された状態(sq102)、カメラCがプリセット位置CP3の向きに設定された状態にある(sq103)。この状態でカメラAは図12(a)に示す情報テーブルを参照し、プリセット位置AP1,AP2に対応する他のカメラB,Cのプリセット位置情報とそのIPアドレスを取得する(sq104)。
実施例5においては、この情報テーブルにより、カメラAはカメラB(IPアドレスIpB)に対して一定周期でプリセット位置BP2,BP3における動体検知の検知状況の確認を行い、カメラC(IPアドレスIpC)に対しても一定周期でプリセット位置CP2における動体検知の検知状況の確認を行う。カメラB,Cの動体検知の検知状況が動体無しか、状況不明の場合、カメラAは待機状態となる(sq105)。
その後、カメラBがプリセット位置BP2で動体検知して動体がある旨の認識を行った状態となり(sq106)、カメラAは図12(a)の情報テーブルを参照し、プリセット位置AP1,AP2に対応するカメラB,Cのプリセット位置情報とそのIPアドレスを取得して(sq107)、カメラBに対してプリセット位置BP2,BP3における動体検知の検知状況の確認を行うと、カメラBはプリセット位置BP2に動体がある旨の検知状況をカメラAに通知する。
カメラAは、カメラBの動体検知による検知結果の通知を受け、カメラCに対してはプリセット位置CP2に向きを変える旨の指令を通知し、この位置に移動させる(sq108)。その後カメラAは自身の向きをプリセット位置AP1に移動し(sq109)、カメラB,Cから画像を取得したときカメラAの画像と同一画面上にこれらの画像を表示できるように、マルチ画面表示に切り換える(sq110)。カメラBはプリセット位置BP2の画像を取得してカメラAに画像情報の通知を行い(sq111)、カメラCはプリセット位置CP2の画像を取得してカメラAに画像情報の通知を行う(sq112)。
カメラAでは、カメラB,Cから画像情報を取得したとき対象画像をマルチ画面表示し(sq113)、各画像を表示可能にする。各カメラA〜Cでは撮像した画像を録画し(sq114〜116)、さらに各カメラA〜CからPCやサーバへFTP転送やメール等により画像通知(転送)を行う(sq117〜119)。なお、マルチ画面表示にするか否か、録画の有無、通知の有無はPCからの設定で選択することが可能である。
このように実施例5のネットワークカメラは、各プリセット位置に向けられたカメラの動体検知を一定周期毎に確認し、検知結果を一定周期毎に受け取るため、常時、被写体の監視を行うことができる。
実施例1,2と同様、以上の説明では、カメラAがカメラB、カメラCから画像情報を取得してマルチ画面表示を行う動作として説明したが、カメラAからの情報により画像を表示するPCにおいて、直接カメラA、カメラCそれぞれの画像情報を取得してマルチ画面表示を行うことにしてもよい。
(実施例6)
本発明の実施例6におけるネットワークカメラは、他のネットワークカメラに対して画像認識を用いた動作検知結果を一定周期毎に確認し、1台のネットワークカメラで動体検知したときは他のネットワークカメラでも動作検知を行って状況判定するネットワークカメラである。実施例6においても図9,10,11を参照する。図17は本発明の実施例6におけるネットワークカメラが他のネットワークカメラに動体検知を一定周期毎に確認し他のネットワークカメラの動体検知と合わせて状況判定を行う動作シーケンス図である。実施例5と同様、カメラ制御部15が各ネットワークカメラに対して一定周期毎に動体検知結果を要求するか、一定周期毎に動体検知を行うように依頼してその検知結果を通知してもらうか、のいずれかの確認方法が実行できる。
実施例6のネットワークカメラでも、実施例3と同様に、図2,10において図示されていないが、図10に示す判定手段15dが被写体ありとの状況判定を行った場合に、検知結果は有効であると判断してPC3に画像通知(転送)を許可する制御手段(本発明の請求項9,10の制御手段)が設けられている。なお、通知手段15cにこのような機能をもたせるのでもよい。
図17において、カメラAがプリセット位置AP3の向きに設定された状態であり(sq121)、カメラBがプリセット位置BP2の向きに設定された状態(sq122)、カメラCがプリセット位置CP3の向きに設定された状態にある(sq123)。この状態でカメラAは図12(a)に示す情報テーブルを参照し、プリセット位置AP1,AP2に対応する他のカメラB,Cのプリセット位置情報とそのIPアドレスを取得する(sq124)。
実施例6においては、この情報テーブルにより、カメラAはカメラB(IPアドレスIpB)に対して一定周期毎にプリセット位置BP2,BP3における動体検知の検知状況の確認を行い、カメラC(IPアドレスIpC)に対しても一定周期毎にプリセット位置CP2における動体検知の検知状況の確認を行う。カメラB,Cの動体検知の検知状況が動体無しか、状況不明の場合、カメラAは待機状態となる(sq125)。
その後、カメラBがプリセット位置BP2で動体検知して動体がある旨の認識を行った状態では(sq126)、カメラAが情報テーブルを参照し、プリセット位置AP1,AP2に対応するカメラB,Cのプリセット位置情報とそのIPアドレスを取得して(sq127)、カメラBに対してプリセット位置BP2,BP3における動体検知の検知状況の確認を行うと、カメラBはプリセット位置BP2に動体がある旨の検知状況をカメラAに通知する。
カメラAは、カメラBの動体検知による検知結果の通知を受け、カメラCに対してプリセット位置CP2に向きを変える旨の指令を通知し、この位置に移動させる(sq128)。その後カメラAは自身の向きをプリセット位置AP1に移動し(sq129)、画像認識による動作判定と画像録画を行う(sq130)。カメラCはプリセット位置CP2の画像を取得してカメラAに画像情報の通知を行う(sq131)。
カメラAはカメラCの検知結果を取得すると、カメラA,Bの動作検知結果とから状況判定を行い(sq132)、動体有りと決定された場合には判定後処理を決定する(sq133)。各カメラB,Cは画像録画し(sq134〜135)、各カメラB,Cの録画を有効とする画像録画処理を行う場合、カメラAは自身では画像録画処理を行い(sq136)、カメラB,Cには処理通知を行って画像録画させる(sq137〜138)。その後各カメラA〜CからPCやサーバへFTP転送やメール等により画像通知(転送)を行うよう指示をする(sq139〜141)。このとき、有効と判定された画像のみがPC3へ出力される。
このように実施例6のネットワークカメラは、各プリセット位置に向けられたカメラの動体検知を一定周期毎に確認し、検知結果を一定周期毎に受け取るため、常時、被写体の監視を行うことができる。画像の変化を認識した方向へ他のネットワークカメラの撮像方向を向けさせることにより、複数のカメラが異なる角度から同一の被写体を撮像するので、被写体の全体像を正確に撮像することができる。また、画像認識による検知結果が有効であると判定し、有効と判定された画像のみが外部端末へ出力されるので、正確に認識された画像だけを外部端末から取得することができる。
さらに、状況判定の判定条件、画像録画、画像通知は設定により変更が可能であって、以上の説明に限られない。判定条件は、例えばこの認識を行ったネットワークカメラが所定数以上または所定の割合以上の場合、あるいは優先度の高いネットワークカメラが同様の判断を行った場合に、判定結果を有効と判定するなど様々設定できる。
(実施例7)
本発明の実施例7におけるネットワークカメラは、他のセンサを備えたネットワークカメラに対して検知結果を一定周期で確認し、センサを備えたネットワークカメラのセンサで被写体を検知したときは他のネットワークカメラもその位置に向けてマルチ画面表示するネットワークカメラである。この場合も図2〜図11を参照する。
図18は本発明の実施例7におけるネットワークカメラがセンサを備えた他のネットワークカメラに動体検知を一定周期毎に確認し他のネットワークカメラの動体検知と合わせて表示する動作シーケンス図である。実施例5と同様、カメラ制御部15が各ネットワークカメラ1に対して確認するため、一定周期毎に動体検知結果を要求するか、一定周期毎に動体検知を行うように依頼してその検知結果を通知してもらうか、のいずれかの確認方法が実行できる。
図18において、カメラAは、図5(c)に示す情報テーブルを参照し、所定のタイミングでプリセット位置AP2,AP3に対応するカメラC,EのセンサC1,C2,E2に検知状況を確認する(sq151)。このとき他のカメラB〜Eは待機状態にある(sq152〜155)。
実施例7においては、この情報テーブルにより、カメラAはセンサC1,C2を備えたカメラC(IPアドレスIpC)に対して一定周期毎にセンサC1,C2による検知状況の確認を行い、センサE2を備えたカメラE(IPアドレスIpE)に対しても一定周期毎にセンサE2による検知状況の確認を行う。カメラC,Eから検知なしの通知があると、カメラAは待機状態に入る(sq156)。
その後、カメラCのセンサC2が被写体を検知すると、プリセット位置CP4に向きを移動する(sq157)。そして、カメラAが次のタイミングでプリセット位置AP2,AP3に対応するカメラC,EのセンサC1,C2,E2に検知状況を確認すると(sq158)、カメラCでは、センサC2が検知した旨をカメラAに通知する。
これを受けたカメラAは、センサC2に対応する他のカメラB,D,Eのプリセット位置情報とそのIPアドレスを図5(a)に示すような情報テーブルから取得し、画像を取得する(sq159)。この後、カメラAは、カメラBに対してはプリセット位置BP4に向きを変える旨の指令を通知し、この位置に移動させる(sq160)。カメラDに対してはプリセット位置DP3に向きを変える旨の指令を通知し、この位置に移動させ(sq161)、カメラEに対してはプリセット位置EP3に向きを変える旨の指令を通知し、この位置に移動させる(sq162)。
指令を通知した後、カメラAはプリセット位置AP2に移動し(sq163)、カメラB〜Eから画像を取得したときカメラAの画像と同一画面上にこれらの画像を表示できるように、マルチ画面表示に切り換える(sq164)。カメラBはプリセット位置BP4の画像を取得して(sq165)、カメラAに画像情報の通知を行い、カメラCはプリセット位置CP4の画像を取得して(sq166)、カメラAに画像情報の通知を行う。同様に、カメラDはプリセット位置DP3の画像を取得して(sq167)、カメラAに画像情報の通知を行い、カメラEはプリセット位置EP3の画像を取得して(sq168)、カメラAに画像情報の通知を行う。
カメラAでは、カメラB〜Eから画像情報を取得したとき対象画像をマルチ画面表示し(sq169)、各画像をPCに表示可能に通知する。その後、各カメラA〜Eでは撮像した画像を録画し(sq170〜174)、さらに各カメラA〜CからPCへ画像通知(転送)を行う(sq175〜179)。なお、マルチ画面表示にするか否か、録画の有無、通知の有無はPCからの設定で選択することができる。
このように実施例7のネットワークカメラは、各プリセット位置に向けられたカメラの動体検知を一定周期毎に確認し、検知結果を一定周期毎に受け取るため、常時、被写体の監視を行うことができる。他のネットワークカメラの検知したセンサの感度範囲に対応する画像が得られる。また、検知状況確認を行って他のネットワークカメラに指令を出したり画像を取得したりするネットワークカメラが情報テーブルを持っているため、他のネットワークカメラに検知状況確認を行えば、他のネットワークカメラは情報テーブルをもつ必要がない。すなわちプリセット位置に移動する指令を受けて移動すればよい。
(実施例8)
本発明の実施例8におけるネットワークカメラは、他のセンサを備えたネットワークカメラに対して検知結果を一定周期で確認し、センサを備えたネットワークカメラのセンサで被写体を検知したときは他のネットワークカメラもその位置に向けて画像認識による動体検知あるいはセンサによる検知を行い、状況判定するネットワークカメラである。この場合も図6,8,9,10,11を参照する。図19は本発明の実施例8におけるネットワークカメラがセンサを備えた他のネットワークカメラに動体検知を一定周期毎に確認し他のネットワークカメラの動体検知と合わせて状況判定を行う動作シーケンス図である。
実施例8のネットワークカメラにおいても、実施例3と同様に、図2,10において図示されていないが、図10に示す判定手段15dが被写体ありとの状況判定を行った場合に、検知結果は有効であると判断してPC3に画像通知(転送)を許可する制御手段(本発明の請求項9,10の制御手段)が設けられている。なお、通知手段15cにこのような機能をもたせるのでもよい。
図19において、カメラAは、図5(a)に示す情報テーブルを参照し、所定のタイミングでプリセット位置AP2,AP3に対応するカメラC,EのセンサC1,C2,E2に検知状況を確認する(sq181)。このとき他のカメラB〜Eは待機状態にある(sq182〜185)。
実施例8においては、この情報テーブルにより、カメラAはセンサC1,C2を備えたカメラC(IPアドレスIpC)に対して一定周期毎にセンサC1,C2による検知状況の確認を行い、センサE2を備えたカメラE(IPアドレスIpE)に対しても一定周期でセンサE2による検知状況の確認を行う。カメラC,Eから検知なしの通知があると、カメラAは待機状態に入る(sq186)。
その後、カメラCのセンサC2が被写体を検知すると、プリセット位置CP4に向きを移動する(sq187)。そして、カメラAが次のタイミングでプリセット位置AP2,AP3に対応するカメラC,EのセンサC1,C2,E2に検知状況を確認すると(sq188)、カメラCでは、センサC2が検知した旨をカメラAに通知する。
これを受けたカメラAは、センサC2に対応する他のカメラB,D,Eのプリセット位置情報とそのIPアドレスを図5(a)に示す情報テーブルから取得し、さらに、センサC2以外のセンサE2とそのIPアドレスを情報テーブルから取得する(sq189)。この後、カメラAは、カメラBに対してはプリセット位置BP4に向きを変える旨の指令を通知し、この位置に移動させる(sq190)。カメラDに対してはプリセット位置DP3に向きを変える旨の指令を通知し、この位置に移動させ(sq191)、カメラEに対してはプリセット位置EP3に向きを変える旨の指令、及びセンサE2で検知する旨を通知し、この位置に移動させる(sq192)。
その後カメラAは自身の向きをプリセット位置AP2に移動し(sq193)、画像認識による動体検知と画像録画を行う(sq194)。カメラCはプリセット位置CP4の画像を取得して動体検知を行うと共に、センサC2での検知を行い(sq195)、カメラEはプリセット位置EP3の画像を取得して動体検知を行うと共に、センサE2での検知行う(sq196)。また、カメラB,Dはプリセット位置BP4,DP3の画像を取得して動体検知を行う(sq197,198)。
カメラAでは、カメラB〜Eから動体検知の検知結果とセンサC1,C2,E2による検知結果を取得すると、これらに基づいて状況判定を行い(sq199)、動体有りと決定された場合には判定後処理を決定する(sq200)。各カメラB〜Eは動体検知の後に画像録画しているが(sq201〜204)、各カメラB〜Eの録画を有効とする画像録画処理を行う場合、カメラAは自身では画像録画処理を行い(sq205)、カメラB〜Eには処理通知を行って画像録画させる(sq206〜209)。その後各カメラA〜EからPCやサーバへFTP転送やメール等により画像通知(転送)を行う(sq210〜214)。このとき、有効と判定された画像のみがPC3へ出力される。
このように実施例8のネットワークカメラは、各プリセット位置に向けられたカメラの動体検知を一定周期毎に確認し、検知結果を一定周期毎に受け取るため、常時、被写体の監視を行うことができる。他のネットワークカメラの検知したセンサの感度範囲に対応する画像が得られる。
また、検知状況確認を行って他のネットワークカメラに指令を出したり画像を取得したりするネットワークカメラが情報テーブルを持っているため、他のネットワークカメラに検知状況確認を行えば、他のネットワークカメラは情報テーブルをもつ必要がない。
さらに、状況判定の判定条件、画像録画、画像通知は設定により変更が可能であって、以上の説明に限られない。判定条件は、例えばこの認識を行ったネットワークカメラが所定数以上または所定の割合以上の場合、あるいは優先度の高いネットワークカメラが同様の判断を行った場合に、判定結果を有効と判定するなど様々設定できる。また、カメラAが画像認識により動体検知有効と認識し、カメラB〜Eで動体検知とセンサによる検知を行うとき、動体検知の感度を変更してさらに精度を上げることもできる。
(実施例9)
本発明の実施例9におけるネットワークカメラの説明を行う。実施例9のネットワークカメラは、被写体の移動に伴って発生するフレームアウトを防止するためのもので、各ネットワークカメラが被写体を撮像しているとき、画像認識による動体検知で被写体の位置を知り、1台のネットワークカメラの画面から被写体が消えたときに、別のネットワークカメラで撮像を継続するものである。従って、実施例9でも図1〜図11を参照する。
図20は本発明の実施例9におけるネットワークカメラのフレームアウト防止のためのシステム構成図、図21は本発明の実施例9におけるネットワークカメラのフレームアウト防止のための次カメラ対応テーブル説明図、図22は本発明の実施例9におけるネットワークカメラのフレームアウト防止のための各カメラの次カメラ対応テーブル説明図、図23は本発明の実施例9におけるネットワークカメラのフレームアウト防止動作シーケンス図である。
まず、図20を使用して実施例9のネットワークカメラがフレームアウト防止をどのようにして行うか、全体的な説明を行う。このシステムでは4台のカメラA〜Dが設けられており、各カメラA〜Dは画像認識による動体検知を行ってフレームアウトを防止する。隣り合って配置されたカメラA〜Dの関係は図20に示すとおりである。
図21に示すように、カメラAについて説明すると、カメラAの画面で画面左はカメラBであり、連携するカメラBのIPアドレスIpBが格納されている。また、カメラAの画面奥はカメラDであり、被写体が画面奥側に移動したとき連携するカメラDのIPアドレスIpDが格納されている。また、カメラBでは、カメラBの画面右がカメラAに当り、連携するカメラAのIPアドレスIpAが格納されており、画面左はカメラCに当るため、カメラCのIPアドレスIpCが格納され、カメラBの画面奥はカメラDであり、被写体が画面奥側に移動したとき連携するカメラDのIPアドレスIpDが格納されている。
カメラCは、カメラCの画面右がカメラBに当り、連携するカメラBのIPアドレスIpBが格納されており、画面左と画面奥側にはカメラが存在していない。また、カメラDは、カメラDの画面奥がカメラA,Bであり、被写体が画面奥側に移動したとき連携するカメラAのIPアドレスIpA,カメラBのIPアドレスIpBが格納されている。
さて、図20に示すようにカメラAは、被写体がカメラAの画像取得範囲内に入ると、カメラAは動作検知機能により被写体の位置を認識することができる。なお、カメラAの記憶装置部16(図10参照)内には図21のカメラAの情報である図22(a)の情報テーブルが設けられている。
同様に、カメラBはカメラAと隣り合って配置され、画像取得範囲がカメラAと一部重複しており、レンズの向きは同じ方向に向けられている。カメラBは、被写体がカメラBの画像取得範囲内に入ると、動作検知機能により被写体の位置を認識することができ、記憶装置部16(図10参照)内に図22(b)で示す情報テーブルを備えている。カメラCも同様で、カメラBと隣り合って配置され、画像取得範囲がカメラBと一部重複しており、レンズの向きも同じ方向に向けられている。カメラCは、被写体がカメラCの画像取得範囲内に入ると、動作検知機能により被写体の位置を認識することができ、記憶装置部16(図10参照)内に図22(c)で示す情報テーブルを備えている。
これに対し、カメラDはカメラA,B,Cと向かい合うように配置され、レンズの向きはカメラA,B,Cと逆方向に向けられており、画像取得範囲が奥行き方向にカメラAと一部重複している。カメラDは、被写体がカメラDの画像取得範囲内に入ると、動作検知機能により被写体の位置を認識することができ、記憶装置部16(図10参照)内に図22(d)の情報テーブルを備えている。
ところで、実施例9のカメラA〜Dが以上説明した連携をするために、図10で示した指示手段15aは、実施例2で説明した動作のほかに次のような動作も行う。すなわち、1台のネットワークカメラ1の画像認識手段15bが被写体を認識し被写体が画像取得範囲の端部、言い換えればフレームの端に移動したと判断される場合、若しくは、この動体がその画像取得範囲から認識できなくなった場合、指示手段15aは他のネットワークカメラ1にこのカメラからはフレームアウトするが、引き続いて被写体の撮像を継続する旨の指令を行うものである。この追尾の詳細は後で詳述する。
従って、図20のようなカメラA,Dの向かい合ったエリアのカメラAの画像取得範囲内に被写体が入ってきたとき、まずカメラAがこれを認識する。被写体が移動するのに伴ってカメラAの画面から被写体がフレームアウトしそうになると、カメラAは指示手段15aによって図21に設定された近くの次カメラに画像取得を指令する。実施例1で説明したように、各カメラ間の情報伝達はHTTPや、カメラ間通信プロトコルで行われ、次カメラのIPアドレス宛に画像取得の指令が通知される。
カメラAから画面左に向ってフレームアウトするときは、カメラBのIPアドレスIpBに画像取得の指令が通知され、画面奥側に被写体が移動し動作検知できなくなった場合には、カメラDのIPアドレスIpDに画像取得の指令が通知される。
図20のようにカメラBにカメラAから画像取得の通知が行なわれた場合、カメラBは画面右に向きを移動し、カメラAの画像取得範囲から移動してくる被写体を動体検知する。逆に、カメラBはカメラCから画像取得の通知が行なわれた場合、画面左に向きを移動し、カメラCの画像取得範囲から移動してくる被写体を動体検知する。
続いて、図23に基づいて、実施例1におけるネットワークカメラのフレームアウト防止動作シーケンスについて説明する。まず、カメラAは画像認識による動作検知を行い、画像取得範囲内に動体ありと判断すると(sq221)、被写体の画像を取得して録画する(sq225)。この状態はカメラAの画像取得範囲に被写体が進入し、その位置を動体検知で把握している状態である。このときカメラB、カメラC、カメラDはいずれも待機状態である(sq222〜224)。
この状態から被写体が移動し、カメラAの画面左にフレームアウトしそうになると(sq226)、カメラAは図22(a)の情報テーブルを参照し、画面左にフレームアウトしそうな被写体の画像を取得可能な次カメラがカメラBである旨の情報を得て(sq227)、IPアドレスIpBに対して、被写体の画像取得を行うよう指令する。
このときのフレームアウトする可能性があるとの判断は、例えば1フレームが横640ピクセル×縦480ピクセルの場合、横方向で左端の横幅40ピクセル×縦480ピクセルの領域に被写体が進入したときである。これは右端でも同様で、横幅40ピクセル×縦480ピクセルの領域に被写体が進入したとき、フレームアウトする可能性があると判断する。なお、この領域の横幅は40ピクセルに限られるものではなく、被写体の移動速度やネットワークカメラの応答性などに依存するため、必要に応じて選択すればよい。また、上下のフレームアウトも同様に行えばよい。フレームアウトしたとき次のカメラBが画像の取得を開始するタイミングには、前のカメラAがフレームアウトの可能性がある領域に入ったらカメラBでも重複して画像の取得を開始する場合と、前のカメラAがフレームアウした後、画像取得範囲内から被写体が消えてから画像の取得を開始する場合があり、とくに後者の場合はカメラBに準備の時間を与える意味で、領域の横幅を大き目に設定するのが好適である。
カメラAから被写体の画像取得を行う旨の指令を受けたカメラBは、図22(b)の情報テーブルを参照し、画面右からカメラBの画像取得範囲に被写体が入ってくることを認識し、画面右にレンズを移動し、画像認識による動作検知を開始する(sq228)。すなわち、図22(a)〜(d)の情報テーブルは、自身の画像取得範囲から被写体がフレームアウトするときに指令を出すべき次カメラの情報を取得するための情報源であり、同時に他のカメラから指令を受けたときどの方向を向くべきかを判断する情報源でもある。カメラAは画像取得と共に取得画像の録画と画像通知(転送)を行うが、カメラBに指令を出した後も画像通知(転送)を行う(sq229)。
なお、画像通知(転送)を行うとき、フレームアウトの際に連携する各カメラは、各カメラで取得した被写体の録画画像に連続番号を付与し、次のカメラに画像の取得をする旨の指令と共にこの連続番号の情報も通知する。従って、複数のカメラによって取得された被写体の録画画像は一連の連続番号「0001〜9999」が付いたものとなる。また、この連続番号「0001〜9999」が付与された録画画像に対して、例えば侵入時刻「23時10分15秒」と共に動体番号「00n」(n=1,2,・・・)を付与し、「231015:00n:0001」〜「231015:00n:9999」などの情報を引き渡すのもよい。動体番号だけを引き渡すこともできる。
sq228において、カメラBは画像認識による動作検知を行って、画像取得範囲内に動体ありと判断すると(sq230)、被写体の画像を取得して録画する(sq231)。この状態から被写体が移動し、カメラBの画面左にフレームアウトしそうになると(sq232)、カメラBは図22(b)の情報テーブルを参照し、画面左にフレームアウトしそうな被写体の画像を取得可能な次カメラがカメラCである旨の情報を得て(sq233)、IPアドレスIpCに対して、被写体の画像取得を行うよう指令する。
カメラBから被写体の画像取得を行う旨の指令を受けたカメラCは、図22(c)の情報テーブルを参照し、画面右から画像取得範囲に被写体が入ってくることを認識し、画面右にレンズを移動し、動作検知を開始する(sq234)。なお、カメラBはカメラCに指令を出した後も画像通知(転送)を行う(sq235)。カメラCは動作検知を行って、画像取得範囲内に動体ありと判断すると(sq236)、被写体の画像を取得して録画する(sq237)。この状態から被写体が移動し、カメラCの画面左にフレームアウトしそうになると(sq238)、カメラCは図22(c)の情報テーブルを参照し、画面左にフレームアウトしそうな被写体の画像を取得可能な次カメラがカメラDでない旨の情報を得て、一連の処理を終了させる。カメラCはその後も画像通知(転送)を行う(sq239)。なお、動作検知感度を被写体からの距離に応じて変えたり、次カメラ、録画、通知などの設定をしたりすることはPCから行うことができる。
また、以上の説明において、カメラを切り換えてフレームアウトする被写体を連続して撮像・記録する旨説明したが、PC上において、各カメラが取得した画像情報を被写体の画像を取得しているカメラに切り換えて受信・表示することによって被写体を連続的に観察することも可能である。
このように実施例9のネットワークカメラは、動く被写体がカメラの撮像範囲の端部へ移動したとき、この撮像範囲の端部と重複する撮像範囲を有する他のネットワークカメラへインターフェースを介して被写体の撮像を開始させることにより、被写体の動きに合わせて撮像が行え、複数台のネットワークカメラで撮像する場合であっても被写体の画像を途切れることなく連続してカメラで撮像することがきる。