[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP6754451B2 - 監視システム、監視方法及びプログラム - Google Patents

監視システム、監視方法及びプログラム Download PDF

Info

Publication number
JP6754451B2
JP6754451B2 JP2018565644A JP2018565644A JP6754451B2 JP 6754451 B2 JP6754451 B2 JP 6754451B2 JP 2018565644 A JP2018565644 A JP 2018565644A JP 2018565644 A JP2018565644 A JP 2018565644A JP 6754451 B2 JP6754451 B2 JP 6754451B2
Authority
JP
Japan
Prior art keywords
unit
monitoring
image
surveillance camera
identification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018565644A
Other languages
English (en)
Other versions
JPWO2018143341A1 (ja
Inventor
修 萬羽
修 萬羽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Publication of JPWO2018143341A1 publication Critical patent/JPWO2018143341A1/ja
Application granted granted Critical
Publication of JP6754451B2 publication Critical patent/JP6754451B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/01Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium
    • G08B25/04Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium using a single signalling line, e.g. in a closed loop
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Alarm Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Burglar Alarm Systems (AREA)

Description

本発明のいくつかの態様は、監視システム、監視方法及びプログラムに関する。
本願は、2017年2月1日に日本に出願された特願2017−016604号について優先権を主張し、その内容をここに援用する。
事業所や集合住宅などの施設には、不審者を検知するための監視カメラ装置が設置されることがある。例えば、特許文献1に記載のセキュリティシステムは、来訪者として不適切な行動をとっている人物に対して速やかな警戒を行う。当該セキュリティシステムにおいて、セキュリティサーバは、監視対象区域の周辺を監視する録画装置から出力される映像を受信する。そして、セキュリティサーバは、その映像に基づいて生成される動画を画像処理することによって抽出した人物画像を含む動画ファイルの部分を人物画像ファイルとして保持する。当該セキュリティシステムにおいて、人物データベースは、人物画像に対応する個人データと人物画像ファイルとを関連付け、人物画像に対応する個人の信頼性の程度に応じて個人データを分類して保持する。そして、セキュリティサーバは、監視カメラ装置が撮影した映像から人物の画像を抽出し、予め登録した人物画像と照合して、不審者の来訪を検知する。
特開2007−72647号公報
しかしながら、監視カメラ装置が撮影した映像には、来訪者の顔面が表れないことがある。その場合には、来訪者を特定することができない。そのため、来訪者が不審者であるか否かを検知することができない。来訪者の顔面が表れない場合には、例えば、来訪者の背面が監視カメラの撮影方向に向けられているとき、来訪者の顔面が他の人物もしくは物体に遮蔽されているとき、マスク、帽子などの装着物により顔面の全部又は大部分が隠れているとき、などがある。
本発明の一態様は上記の点に鑑みてなされたものであり、監視範囲内における監視対象が要注意状態であることを的確に検知することができる監視システム、監視方法及びプログラムを提供する。
(1)本発明の一態様は上記の課題を解決するためになされたものであり、本発明の一態様は、映像を取得する映像取得部と、無線で検出された識別装置の情報を取得する識別装置情報取得部と、制御部とを備え、前記制御部は、前記映像に表れた物体を認識し、認識された前記物体の数と検出された前記識別装置の数とが一致するか否かを判定する判定部と、を備える監視装置である。
(2)また、本発明の一態様は、上記の監視装置において、映像を記録する記憶部をさらに備え、前記制御部は、認識された前記物体の数と検出された前記識別装置の数とが一致しないと判定された区間の前記映像を前記記憶部に記憶させる。
(3)また、本発明の一態様は、上記の監視装置において、警報を報知する警報部をさらに備え、前記制御部は、認識された前記物体の数と検出された前記識別装置の数とが一致しないと判定されるとき、前記警報部に警報を報知させる。
(4)また、本発明の一態様は、上記の監視装置において、映像を所定の機器に送信する通信部をさらに備え、前記制御部は、認識された前記物体の数と検出された前記識別装置の数とが一致しないと判定された区間の前記映像を前記通信部に送信させる。
(5)また、本発明の一態様は、上記の監視装置において、前記制御部は、認識された前記物体の数と検出された前記識別装置の数とが一致しないと判定された区間の映像を、その他の区間よりも高い解像度で提供する。
(6)また、本発明の一態様は、上記の監視装置において、前記制御部は、認識された前記物体の数と検出された前記識別装置の数とが一致しないと判定された区間の映像において前記物体が表れる領域の解像度を、その他の領域よりも高い解像度で提供する。
(7)また、本発明の一態様は、上記の監視装置において、前記制御部は、認識された前記物体の数と検出された前記識別装置の数とが一致しないと判定されるとき、前記映像に映る撮像範囲を含む空間から、前記空間に隣接する空間への通行を制御する機器に、前記通行をさせないようにする。
(8)また、本発明の一態様は、上記の監視装置において、前記識別装置を無線で検出できる通信範囲は、前記映像に映る撮像範囲と等しい。
(9)また、本発明の一態様は、前記映像を撮像する撮像部、前記識別装置を検出する通信部、及び上記の監視装置、を備える監視システムである。
(10)また、本発明の一態様は、上記の監視システムにおいて、前記撮像部と前記識別装置を検出する通信部とのセットをそれぞれ異なる位置に複数備え、複数のうち少なくとも一セットの撮像部が撮像した映像に表れた物体の数と、当該セットの通信部が検出した識別装置の数とが一致しないと判定するとき、前記少なくとも一セットとは他のセットの通信部と撮像部を起動させる制御部、を備える。
(11)また、本発明の一態様は、監視装置における監視方法であって、映像を取得する映像取得過程と、無線で検出された識別装置の情報を取得する識別装置取得過程と、前記映像に表れた物体を認識する映像認識過程と、認識された前記物体の数と検出された前記識別装置の数とが一致するか否かを判定する判定過程と、を有する監視方法である。
(12)また、本発明の一態様は、監視装置のコンピュータに、映像を取得する映像取得手順と、無線で検出された識別装置の情報を取得する識別装置取得手順と、前記映像に表れた物体を認識する映像認識過程と、認識された前記物体の数と検出された前記識別装置の数とが一致するか否かを判定する判定手順と、を実行させるためのプログラムである。
本発明の一態様によれば、監視範囲内における監視対象が要注意状態であることを的確に検知することができる。
第1の実施形態に係る監視システムの機能構成の一例を示すブロック図である。 第1の実施形態に係る監視カメラ装置のハードウェア構成の一例を示すブロック図である。 第1の実施形態に係る監視カメラ装置の撮像範囲の一例を示す図である。 第1の実施形態に係る監視カメラ装置の設置例を示す図である。 第1の実施形態に係る監視処理の一例を示すフローチャートである。 第1の実施形態に係るアンテナの一配置例を示す図である。 第1の実施形態に係る監視カメラ装置の一配置例を示す図である。 第1の実施形態に係る監視カメラ装置の他の配置例を示す図である。 第2の実施形態に係る監視システムの機能構成の一例を示すブロック図である。 第2の実施形態に係るデータ記録処理の一例を示すフローチャートである。 第2の実施形態に係る監視処理の一例を示すフローチャートである。
(第1の実施形態)
以下、図面を参照しながら本発明の第1の実施形態について説明する。
図1は、本実施形態に係る監視システムの機能構成の一例を示すブロック図である。
監視システムS1は、監視カメラ装置10と、識別装置20と、監視サーバ30と、を含んで構成される。
監視カメラ装置10は、所定の監視領域内の映像を取得し、取得した映像に表れた物体を認識する。ここで、「物体」とは、監視対象となる物体を意味し、生物であるか非生物であるかを問わない。「物体」には、例えば、人物、家畜、飼育動物などの動物、パーソナルコンピュータ(PC:Personal Computer)、携帯電話機、タブレット端末装置などの情報機器、絵画、彫刻などの展示物、現金、貴金属、宝石その他の貴重品が格納された容器などであってもよい。
監視カメラ装置10は、監視領域内の識別装置20を無線で検出する。監視カメラ装置10は、認識した物体の数と検出した識別装置20の数をそれぞれ計数し、物体の数と識別装置20の数が一致するか否かを判定する。監視カメラ装置10は、物体の数と識別装置20の数が一致しないとき、監視領域内において監視対象となる物体が要注意状態であることを判定する。ここで、「要注意状態」とは、監視対象となる物体が監視領域内に不当に出現すること、又はその物体が監視領域から不当に消失すること、など当該監視状態を監視する者もしくは当該監視領域に居合わせる者などに注意を促す必要がある状態、を意味する。監視カメラ装置10は、要注意状態であることを判定するとき、例えば、要注意状態であることが判定された区間内の映像の記録、その映像の監視サーバ30への送信、警報の報知のいずれか又は所定の組み合わせを行う。以下の説明では、要注意状態であることが、主に不審者、つまり予め登録された人物以外の人物の進入である場合を例にする。
識別装置20は、その識別装置20自体の識別情報を示す信号を無線で発信する装置である。識別情報は、個々の識別装置20を示す特有の情報であって、監視対象の1個の物体と一意に対応付けられている情報であればよい。識別装置20が発信する信号は、無線であれば、必ずしも電波には限られず、赤外線、可視光線、超音波など情報を搬送することができる信号であれば、いずれであってもよい。識別装置20は、例えば、IEEE802.15.1で規定された近距離無線通信方式を用いて信号を送信する。この無線通信方式が用いられる場合には、この方式で所定の探索信号が識別情報の伝送に用いられてもよい。図1に示す例では、各1個の識別装置20が、ある人物Bdの身体に携帯される。
そして、識別装置20の識別情報は、その人物に対応付けられている情報である。
監視サーバ30は、監視カメラ装置10から映像を受信し、受信した映像を記録するサーバ装置である。監視サーバ30は、記憶した映像を表示してもよい。監視サーバ30は、例えば、監視センタ又は警報センサの設備の一部を構成するサーバ装置である。
図1に示す例では、監視カメラ装置10、識別装置20及び監視サーバ30の数は、それぞれ1個であるが、2個以上であってもよい。監視システムS1において監視カメラ装置10が複数個存在する場合には、そのうちの一部の監視カメラ装置10が監視サーバ30(親機)として機能してもよい。即ち、その一部の監視カメラ装置10が、他の監視カメラ装置10(子機)からの映像データなどの情報を集約する。また、監視サーバ30は、監視システムS1において必ずしも備えられてなくてもよい。
(監視カメラ装置)
次に、監視カメラ装置10の機能構成について説明する。
監視カメラ装置10は、撮像部102と、第1通信部104と、第2通信部106と、警報部108と、制御部110と、記憶部120と、を含んで構成される。
撮像部102は、所定の監視範囲を視野とし、その視野内の映像を撮像する映像取得部として機能する。撮像部102は、撮像した映像を示す映像データを制御部110に出力する。
第1通信部104は、自部から所定範囲内に存在する装置と、識別装置20が用いる通信方式と同一の方式で近距離(例えば、半径3〜10m以内)の通信を無線で行うローカル通信部である。第1通信部104は、識別装置20から信号を受信し、受信した信号が示す識別装置20の識別情報を検出する識別装置情報取得部として機能する。第1通信部104は、検出した識別情報を制御部110に出力する。一例として、識別装置20がIEEE802.15.1で規定された近距離無線通信方式を用いる場合には、第1通信部104は、その方式を用いて識別装置20からの信号を受信する。
なお、第1通信部104は、識別装置20からの信号強度が所定の信号強度の閾値よりも小さい場合には、その識別装置20の識別情報を棄却してもよい。これにより、信号強度が小さい識別情報に係る識別装置20が人物カウント部114によるカウント対象から除外される。受信信号が電波である場合には、信号強度の指標として、例えば、受信電波強度(RSSI:Received Signal Strength Indicator)が用いられる。受信信号が可視光線又は赤外線である場合には、信号強度の指標として輝度又は照度が用いられる。受信信号が可聴音又は超音波である場合には、信号強度の指標として音量又は音圧が用いられる。なお、所定時間以上継続して識別情報が検出されない識別装置20、又は信号強度が所定の信号強度よりも小さい識別装置20については、第1通信部104は、その識別装置20が検出されないことを示す非検出情報を制御部110に出力してもよい。
第2通信部106は、第1通信部104よりも遠距離にある機器との間で無線又は有線で通信を行う。第2通信部106は、制御部110から入力される映像データを監視サーバ30に送信する。第2通信部106が用いる通信方式は、例えば、有線LAN(Local Area Network)の通信規格であるIEEE802.3、無線LANの通信規格であるIEEE802.11、公衆無線の通信規格である3G(3rd Generation of wireless mobile telecommunications)、IEEE802.16−2004、LTE(Long Term Evolution)、4G(4th Generation of wireless mobile telecommunications)などのいずれであってもよい。
警報部108は、制御部110から警報指示信号が入力されるとき、警報を報知する。
警報部108は、警報として所定の警報音を鳴動させてもよいし、所定の不審者の進入を示すメッセージ音声を再生してもよい。
制御部110は、監視カメラ装置10の主な機能を制御する。制御部110は、映像認識部112と、判定部113と、を含んで構成される。
映像認識部112は、撮像部102から入力される映像データに対して所定の映像認識処理を行い、所定の認識対象の物体として映像に表れている人物の像を特定する。映像認識処理には、例えば、映像からの輪郭抽出、座標変換、変換後の輪郭と認識対象の物体である人物の輪郭との類似度の算出、類似度に基づく人物の特定、といった処理が含まれる。映像認識処理において、例えば、OpenCV(登録商標)(Open Source
Computer Vision Library)で公開された手法を利用可能である。本実施形態では、映像認識処理において、1フレーム内の映像において人物の像が表されている部位が特定できれば足り、個々の人物の特定(例えば、顔画像に基づく人物の特定)を要しない。また、映像認識処理は、必ずしもフレーム毎に行われる必要はない。
映像認識処理は、監視領域における認識対象の物体である人物の進入の検出に十分な頻度(例えば、0.5〜3秒)で行われればよい。映像認識部112は、処理結果として1フレームの映像において人物の像が表されている部位を示す映像認識情報を判定部113に出力する。
なお、映像認識部112は、人物の像が表されている部位のうち、所定の大きさの閾値よりも小さい部位については、その部位を映像認識情報から除外してもよい。これにより、除外された部位に係る人物が識別装置カウント部116によるカウント対象から除外される。人物が表されている部位の大きさは、例えば、その部位の一辺又は径の長さで指定されればよい。
判定部113は、人物カウント部114と、識別装置カウント部116と、比較部118と、を含んで構成される。
人物カウント部114は、映像認識部112から入力される映像認識情報が示す映像に表されている人物の数をカウント(計数)する。人物カウント部114は、カウントした人物の数を示す人物カウント情報を比較部118に出力する。
識別装置カウント部116は、第1通信部104から入力される識別情報に基づいて第1通信部104がその時点で検出している識別装置20の数をカウントする。識別装置カウント部116は、カウントした識別装置20の個数を示す識別装置カウント情報を比較部118に出力する。
比較部118は、人物カウント部114から入力される人物カウント情報が示す人物の数と、識別装置カウント部116から入力される識別装置カウント情報が示す識別装置20の個数とが一致するか否かを判定する。一致すると判定するとき、比較部118は、予め登録された正当な人物以外の不審者の進入がないと判定する。一致しないと判定するとき、比較部118は、不審者の進入を判定する。その場合、比較部118は、その判定に応じた所定の処理を行う。比較部118は、例えば、警報指示情報を警報部108に出力する。比較部118は、撮像部102から入力される映像データを記憶部120に記憶してもよい。また、比較部118は、撮像部102から入力される映像データを監視サーバ30に第2通信部106を介して送信してもよい。比較部118は、不審者の進入を判定したフレームの映像データに不審者の進入を示す判定情報を付加してもよい。また、比較部118は、判定情報に代えて又は判定情報とともに、不審者が映像に表示されていることを示す不審者情報を付加してもよい。これにより、監視サーバ30には判定結果として不審者の進入が、監視領域の映像とともに通知される。また、比較部118は、記憶又は送信される映像データに、その映像データに係る映像認識情報を付加してもよい。なお、記憶又は送信される映像の区間には、不審者の進入が判定されたフレームが含まれていればよい。また、監視カメラ装置10は、監視サーバ30と一体化され、単一の装置として構成されてもよい。その場合には、第2通信部106が省略されてもよい。
記憶部120は、制御部110が行う処理に用いる各種のデータ(例えば、パラメータ)、制御部110が取得したデータなどを記憶する。
(ハードウェア構成)
次に、本実施形態に係る監視カメラ装置10のハードウェア構成の一例について説明する。
図2は、本実施形態に係る監視カメラ装置10のハードウェア構成の一例を示すブロック図である。
監視カメラ装置10は、カメラ142、近距離通信I/F(interface)144、通信I/F146、スピーカ148、CPU(Central Processing Unit)150及びメモリ152を含んで構成される。各構成部は、それぞれバスBに接続され、相互に各種のデータを入出力可能である。
カメラ142は、上述の撮像部102を構成する。近距離通信I/F144は、上述の第1通信部104を構成する。通信I/F146は、上述の第2通信部106を構成する。スピーカ148は、上述の警報部108を構成する。警報部108として、スピーカ148に代えてブザーなどの音源が用いられてもよい。CPU150は、監視カメラ装置10の起動時に、メモリ152に記憶された所定のアプリケーションプログラム(アプリ)を読み出し、読み出したアプリに記述された命令が示す処理を実行することにより、上述した制御部110の機能を実現する。なお、制御部110の機能は、2個以上の制御デバイスにより、それぞれのアプリに係る処理を実行することにより実現されてもよい。例えば、映像認識部112の機能は、CPU150とは別個の制御デバイスとして、GPU(Graphic Processing Unit)又はコプロセッサにより実現されてもよい。
メモリ152は、上述した記憶部120を構成する。メモリ152には、監視カメラ装置10の機能を発揮させるための各種のデータやプログラムが記憶される。そのようなプログラムには、アプリ、ミドルウェア、デバイスドライバ、OS(Operating
System)がある。
(判定例)
次に、監視カメラ装置10による進入の判定例について説明する。図3に示す例では、形状が直方体である部屋の天井の中央部に撮像方向を鉛直方向に向けて監視カメラ装置10が設置されている。撮像部102の撮影範囲は、監視カメラ装置10の監視範囲に相当する。監視範囲内に2名の人物Bd1、Bd2が所在する。人物Bd1は、自身の識別装置20−1を所持しているのに対し、人物Bd2は識別装置20を所持していない。この状況のもとでは、人物カウント部114は、人物の数が2名と判定し、識別装置カウント部116は、識別装置20の個数を1個と判定する。従って、比較部118は、人物の数と識別装置の個数が一致していないと判定し、不審者が監視範囲内に進入したと判定する。
なお、監視範囲内に人物Bd1が所在し、人物Bd2が所在しない場合を仮定する。その場合には、比較部118は、人物の数と識別装置の個数が一致していると判定し、不審者が進入していないと判定する。
(撮像範囲と通信範囲の一致)
本実施形態では、撮像部102の撮像範囲は、第1通信部104の通信範囲と一致していればよい。撮像範囲と通信範囲を一致させるために、映像に表されている人物の大きさの閾値と、信号強度の閾値との関係を予め調整しておけばよい。これは、人物の大きさの閾値は、撮像部102からの距離が遠いために映像に表される大きさが、その閾値よりも小さくなる人物を除外するための基準を与えるためである。また、信号強度の閾値は、第1通信部104からの距離が遠いために受信される信号の信号強度が、その閾値よりも小さくなる識別装置20の識別情報を除外するための基準を与えるためである。
撮像範囲と通信範囲を一致させるために、第1通信部104が受信可能な信号の入射範囲は撮像部102の画角(視野角)に一致していればよい。図4に示す例では、監視カメラ装置10には、撮像部102の撮像方向に開口部を有する台座Mtが装着されればよい。台座Mtは、天井Clに接し、監視カメラ装置10は、開口部以外の部分を覆う。また、台座Mtは、金属などの導体で構成され、識別装置20からの電波を遮蔽する。第1通信部104のアンテナ(図示せず)を、開口部がなす角が撮像部102の画角と一致する位置Pに設置しておけばよい。これにより、第1通信部104が受信可能な電波の到来範囲と撮像部102の画角が一致する。台座Mtの表面は、電波吸収体のようにステルス性を有する磁性塗料で塗装されてもよい。その場合も、アンテナには台座Mtで覆われる方向の電波の到来が阻止される。
なお、第1通信部104は、識別装置20からの電波を受信するためのアンテナとしてアレイアンテナを備えてもよい。アレイアンテナは、一般に、複数のアンテナ素子からなり、その個数と配置間隔に応じて電波の指向性が定められる。そこで、撮像部102の画角と、所定の受信強度以上で電波を受信できる範囲が一致するアレイアンテナが用いられてもよい。
(座標変換)
撮像部102として、その光学系に魚眼レンズを有するカメラが用いられてもよい。魚眼レンズを有するカメラは、魚眼カメラとも呼ばれ、一般に通常のカメラよりも画角が大きい。魚眼カメラは、例えば、180°又は180°に近い画角を有する。但し、魚眼カメラが撮像した映像の外縁の形状は円形になる。また、撮像された映像に表される被写体の像における、その映像の中心からの距離は、その被写体のレンズの中心軸からの角度(水平傾斜角)からの角度に比例する(等距離射影方式)。そのため、映像の中心から離れた部位ほど、表れている被写体の像の歪みが大きくなる。そこで、映像認識部112は、魚眼レンズを備える撮像部102が取得した映像データについて魚眼平面変換を行って得られる映像データについて映像認識処理を行う。魚眼平面変換は、撮像された映像の平面上の注目点を通過し、その平面に垂直な法線と、その映像の半径と等しい半径を有する仮想球面との交点に接する平面に、その注目点を中心とする部分の部分映像を射影し、射影して得られる像を変換後の部分映像として定める処理を含む。そこで、映像認識部112は、映像に表れている被写体毎の輪郭を抽出し、抽出した被写体の部位の中心を注目点とし、それぞれ異なる部位に表される個々の被写体の像について魚眼平面変換を行う。そのため、映像の中心から離れた部位に表される像ほど大きくなる歪みが解消又は低減する。
(監視処理)
次に、本実施形態に係る監視処理の一例について説明する。監視カメラ装置10は、次に説明する監視処理を所定時間毎に行う。図5は、本実施形態に係る監視処理の一例を示すフローチャートである。
(ステップS101)映像認識部112は、撮像部102から映像データを取得する。その後、ステップS102の処理に進む。
(ステップS102)映像認識部112は、取得した映像データが示す映像に表された人物を認識する。その後、ステップS103の処理に進む。
(ステップS103)人物カウント部114は、映像認識部112が認識した人物の数をカウントする。その後、ステップS104の処理に進む。
(ステップS104)第1通信部104は、受信した信号に基づいて識別装置20を検出する。その後、ステップS105の処理に進む。
(ステップS105)識別装置カウント部116は、第1通信部104が検出した識別装置20の数をカウントする。その後、ステップS106の処理に進む。
(ステップS106)比較部118は、認識された人物の数と検出された識別装置20の個数が一致するか否かを判定する。一致すると判定されるとき(ステップS106 YES)、比較部118は、監視範囲に不審者が進入していないと判定し、図5に示す処理を終了する。一致しないと判定されるとき(ステップS106 NO)、比較部118は、監視範囲に不審者が進入したと判定し、ステップS107の処理に進む。
(ステップS107)比較部118は、監視範囲に人物が進入したと判定した映像の区間を少なくとも含む映像データを記憶部120に記憶する。その後、ステップS108の処理に進む。
(ステップS108)比較部118は、その映像データを監視サーバ30に第2通信部106を介して送信する。その後、ステップS109の処理に進む。
(ステップS109)比較部118は、警報指示情報を警報部108に出力し、警報を鳴動させる。その後、図5に示す処理を終了する。
なお、ステップS104、S105の処理は、ステップS101‐S103の処理と並行に行われる。そのため、ステップS104、S105の処理は、ステップS101−S103の後に行われることも、ステップS101−S103の処理と同時に行われることもある。また、ステップS107−S109の処理の全てが実行される必要はなく、少なくともステップS107−S109の処理のいずれかが実行され、その他の処理が省略されてもよい。ステップS108が省略される場合には、第2通信部106と監視サーバ30が省略されてもよい。ステップS109が省略される場合には、警報部108が省略されてもよい。
(変形例)
次に、本実施形態の変形例について説明する。
上述した実施形態では、比較部118が監視範囲に人物が進入したと判定した映像の区間の映像データを記憶部120に記憶又は監視サーバ30に送信する場合を例にしたが、これには限られない。
(解像度の変更)
比較部118は、撮像部102から入力される映像データを常に記憶又は送信してもよい。但し、比較部118は、監視範囲に人物が進入したと判定した区間の映像の解像度を、その他の区間の解像度よりも高くして記憶又は送信してもよい。例えば、比較部118は、監視範囲に人物が進入したと判定する場合、撮像部102から入力されるその区間の映像データの解像度を変更せず、それ以外の区間の映像データの解像度を低下させる。これにより、人物が進入したと判定した区間の映像を、その他の映像よりも詳細に分析するとともに、記憶部120の記憶容量もしくは第2通信部106の伝送容量を節約することができる。
(関心領域の設定)
また、比較部118は、監視範囲に人物が進入したと判定した区間の映像について、人物が表されている部位を関心領域(ROI:Region of Interest)として定めてもよい。また、第1通信部104が、識別装置20からの信号の到来方向を取得することができる場合には、比較部118は、さらに、その方向に対応する映像の部位と人物が表されている部位とを照合し、識別装置20を有しない人物の像が表された部位を関心領域として特定してもよい。後述するように、監視範囲に4個以上のアンテナが設置される場合には、比較部118は、識別装置20からの信号の到来時刻のアンテナ間の差に基づいて、撮像部102を基準とした識別装置20の方向を特定することができる。
比較部118は、特定した関心領域に対して、その他の部位よりも解像度を高くしてもよい。これにより、解像度を高くする領域が限定されるので、さらに記憶部120の記憶容量もしくは第2通信部106の伝送容量を節約することができる。
(カメラとアンテナの対応関係)
図3及び図4に示す例では、第1通信部104が備えるアンテナと、撮像部102とが一意に対応することを前提としたが、各1つの監視範囲として撮像範囲と通信範囲とが一致していれば、これには限られない。図6に示す例では、1個の撮像部102(図示せず)による撮像範囲と、第1通信部104として4個のアンテナ145−1〜145−4による通信範囲とが対応付けられている。図6において、一点破線は、各アンテナの通信範囲の外縁を示す。アンテナ145−1〜145−4は、それぞれ受信した受信信号を、監視カメラ装置10の識別装置カウント部116に出力する。
識別装置カウント部116は、その監視範囲に係るアンテナ145−1〜145−4のそれぞれについて受信信号が示す識別情報を特定し、アンテナ145−1〜145−4間で特定された識別情報のうち、重複する識別情報のいずれか1つをカウント対象の識別情報として採用し、その他の識別情報を棄却する。この識別情報の重複は、図6に示すように、アンテナ間で通信範囲が重複する領域が存在するため、重複する領域内にある1つの識別装置20からの信号が、各領域に係るアンテナでそれぞれ受信されるためである。
同様に、1つの監視範囲が複数の撮像範囲から構成され、各撮像範囲に係るカメラが撮像部102として備えられてもよい。映像認識部112は、各カメラが取得した映像データについて映像認識処理を行い、人物カウント部114は、各映像データが示す人物が表れている部位を統合する。人物カウント部114は、カメラ間で重複する撮像範囲に表われる同一の人物について、互いに重複する複数の撮像範囲のうちいずれか1つの撮像範囲に表れる人物をカウント対象の人物として採用し、その他の撮像範囲に表れる人物を棄却する。これにより、複数のカメラ間で、同一の人物を重複してカウントすることが回避される。
(近接する他装置の起動)
監視システムS1は、それぞれ異なる位置に配置されたK(Kは、2以上の整数)個の監視カメラ装置10−1〜10−Kを有する。図7に示す例では、K個の監視カメラ装置10−1〜10−Kのうち、いずれか1個の監視カメラ装置10−k(kは、1以上K以下の整数)が常時動作し、それ以外の監視カメラ装置10−1〜10−k−1、10−k+1〜10−Kが動作していないものとする。そして、監視カメラ装置10−kの比較部118が、その監視範囲に人物Bdが進入したと判定する場合を仮定する。この場合、監視カメラ装置10−kの比較部118は、監視カメラ装置10−kの監視範囲の基準点(例えば、中心)から所定範囲内に監視範囲が存在する監視カメラ装置10を起動させてもよい。図7に示す例では、監視カメラ装置10−kの制御部110は、監視カメラ装置10−kとその監視範囲が隣接する監視カメラ装置10−k−1、10−k+1に第2通信部106を介して起動指示信号を送信する。監視カメラ装置10−k−1、10−k+1の制御部110は、それぞれ監視カメラ装置10−kから起動指示信号を自装置の第2通信部106を介して受信するとき、自装置の撮像部102、第1通信部104、映像認識部112及び判定部113の動作を開始させる。
そして、監視カメラ装置10−k−1、10−k+1の比較部118は、それぞれの監視範囲において人物に進入がないと判定する状態が所定時間(例えば、3〜10分)以上継続するとき、自装置の撮像部102、第1通信部104、映像認識部112及び判定部113の動作を停止してもよい。
これにより、常時動作する監視カメラ装置10として、監視範囲に人物が進入又はその可能性が高い監視カメラ装置10に限定される。そのため、映像データの記録又は送信に係るハードウェアの負荷や消費エネルギーが低減する。また、図7に示すように一部を除いて外部から閉ざされた空間内に複数の監視カメラ装置10−1〜10−Kを分散配置され、かつ外部に開放されている一部の領域を含む監視範囲に係る監視カメラ装置10−kを常時動作させる監視カメラ装置10として設定しておく。このことによって、セキュリティの確保との両立が可能となる。
図8に示す例では、監視システムS1は、5個の監視カメラ装置10−1〜10−5を有する。5個の監視カメラ装置10−1〜10−5のうち、1個の監視カメラ装置10−1の監視範囲内に、他の4個の監視カメラ装置10−2〜10−5の監視範囲が含まれる。監視カメラ装置10−2〜10−5の監視範囲、即ち撮像範囲ならびに通信範囲は、それぞれ監視カメラ装置10−1よりも小さい。そこで、監視カメラ装置10−1が常時動作し、それ以外の監視カメラ装置10−2〜10−5が動作していないものとする。そして、監視カメラ装置10−1の比較部118が、その監視範囲に人物Bdが進入したと判定する場合を仮定する。この場合、監視カメラ装置10−1の比較部118は、監視カメラ装置10−2〜10−5を起動させてもよい。ここで、監視カメラ装置10−1の制御部110は、監視カメラ装置10−2〜10−5に第2通信部106を介して起動指示信号を送信する。監視カメラ装置10−2〜10−5の制御部110は、それぞれ監視カメラ装置10−1から起動指示信号を自装置の第2通信部106を介して受信するとき、自装置の撮像部102、第1通信部104、映像認識部112及び判定部113の動作を開始させる。そして、監視カメラ装置10−2〜10−5の比較部118は、それぞれの監視範囲において人物に進入がないと判定する状態が所定時間(例えば、3〜10分)以上継続するとき、自装置の撮像部102、第1通信部104、映像認識部112及び判定部113の動作を停止してもよい。
ここで、監視カメラ装置10−2〜10−5の撮像部102の解像度は、それぞれ監視カメラ装置10−1の撮像部102の解像度よりも高くしてもよい。そして、監視カメラ装置10−2〜10−5の映像認識部112は、解像度がより高い映像データに対応した映像認識処理を行う。
このような構成により、常時動作させる監視カメラ装置10を監視カメラ装置10−1に限定し、その監視範囲に人物が進入したと判定される場合に、より密に配置された他の監視カメラ装置10−2〜10−5を動作させ、解像度がより高い映像が処理される。人物が進入する可能性が高いときに、解像度がより高い映像を取得し、取得した映像により、より精密な分析を行う手がかりが得られ、ハードウェアの負荷を高くする機会が限定される。そのため、監視システムS1全体として、ハードウェア資源が有効に利用される。
(他の機器からの起動指示)
監視カメラ装置10の制御部110は、他の機器から起動開始指示を受信するとき、撮像部102、第1通信部104、映像認識部112及び判定部113の動作を開始させてもよい。他の機器は、例えば、玄関、エレベータなどの扉、窓などの開閉部材の開閉状態を制御するための開閉制御装置である。開閉部材は、所定の監視範囲を区分する壁面の一部に埋め込まれ、監視範囲外の他の空間に対する開閉状態を可変とする。監視範囲は、例えば、オフィスビル、集合住宅、その他の施設のエントランスホール、エレベータホールなどである。そこで、開閉制御装置は、開閉部材を開放するとき、監視カメラ装置10に起動開始指示を送信する。開閉部材の開放は、例えば、ドアロックの解除、窓の開放である。監視カメラ装置10の比較部118が、監視範囲に人物が進入したと判定するとき、開閉制御装置に閉鎖指示を送信してもよい。開閉制御装置は、監視カメラ装置10から閉鎖指示を受信するとき、開放中の開閉部材を閉鎖する。
なお、監視カメラ装置10の制御部110は、監視範囲において人物に進入がないと判定する状態が所定時間(例えば、3〜10分)以上継続するとき、自装置の撮像部102、第1通信部104、映像認識部112及び判定部113の動作を停止してもよい。
これにより、監視範囲がその他の領域に対して開放されるとき、その他の領域からの人物の進入をより確実に捕捉することができる。そのため、監視範囲又は監視範囲に連なる空間を有する施設内のセキュリティが強化される。
(識別情報の照会)
識別装置20に割り当てられている識別情報は、必ずしも監視システムS1に専用の識別情報でなくてもよく、個々の人物に対して一意に対応付けられている識別情報であれば、他のシステムでも共用される識別情報であってもよい。識別情報として、例えば、個人番号(いわゆる、マイナンバー)が用いられてもよい。また、識別情報は、システム毎に利用の可否が設定されてもよい。このシステムとは、監視システムS1が含まれうるが、正当な利用者(個体)の判別を要するシステムであれば、監視システムS1とは用途が異なるシステム(例えば、商品販売もしくはサービス利用を促進するための会員システム)が含まれてもよい。
そこで、識別装置カウント部116は、取得した識別情報についての照会情報を識別情報管理サーバ40(図示せず)に送信してもよい。照会情報は、その識別情報が、監視システムS1の利用可否、つまり正当な利用者であるか否かの照会を示す情報である。識別情報管理サーバ40は、各識別情報についてシステム毎に利用可否が設定された識別情報管理データを記憶する。識別情報管理サーバ40は、識別情報管理データを参照して、照会情報が示す識別情報について、その照会情報が示すシステムとして監視システムS1の利用可否を判定する。識別情報管理サーバ40は、判定した利用可否を示す応答情報を、識別情報に対する応答として監視カメラ装置10に送信する。
監視カメラ装置10の識別装置カウント部116は、識別情報管理サーバ40から受信した応答情報が利用可を示すとき、その識別情報をカウント対象と判定し、その応答情報が利用否を示すとき、その識別情報をカウント対象外として判定する。そして、識別装置カウント部116は、カウント対象と判定した識別情報の個数をカウントし、カウント対象外とした識別情報を無視する。
従って、識別装置20に割り当てられている識別情報として、他のシステムで用いられている識別情報が、監視システムS1においても利用することができる。
なお、識別情報管理サーバ40が管理する識別情報管理データには、さらに各識別情報と対応付けて属性情報が含まれていてもよい。属性情報には、例えば、その人物の属性、例えば、性別、年齢、居住地などの情報が含まれる。そこで、識別情報管理サーバ40は、照会情報が示す識別情報に対応付けた属性情報を識別情報管理データから読み出し、読み出した属性情報を応答情報に付加して監視カメラ装置10に送信してもよい。監視カメラ装置10の制御部110は、不審者が進入したと判定される場合、応答情報とともに受信した属性情報を、その判定に係る映像データと対応付けて記憶又は送信してもよい。また、その場合には、制御部110は、属性情報をディスプレイ等の表示部(図示せず)に表示させてもよい。これにより、監視カメラ装置10は、進入した人物の属性情報を取得し、ユーザに提供することができる。
(第2の実施形態)
次に、本発明の第2の実施形態について説明する。第1の実施形態と同一の構成については同一の符号を付し、特に断らない限りその説明を援用する。以下の説明では、第1の実施形態との差異点を主とする。
図9は、本実施形態に係る監視システムS2の機能構成の一例を示すブロック図である。
監視システムS2は、監視カメラ装置10と、識別装置20と、監視サーバ30を含んで構成される。
監視カメラ装置10は、撮像部102と、第1通信部104と、第2通信部106と、警報部108と、制御部110と、記憶部120とを備える。但し、本実施形態では、制御部110は、撮像部102が所定時間毎に撮像した映像を示す映像データと、第1通信部104が受信した識別装置20の識別情報とを対応付けて記憶部120に記憶する。ここで、その映像データが取得された時点において検出された識別情報が対応付けられていればよい。そこで、制御部110は、映像データと識別情報に、その時点を示す時刻情報で対応付けて記憶部120に記憶する。時刻情報として、例えば、その時点における映像のフレームを示すフレーム番号、その時刻を示すタイムスタンプなどのいずれが用いられてもよい。また、時刻情報として、映像データに含まれる映像ストリームに付随したメタ情報が用いられてもよいし、映像データとは別個の情報が付加されてもよい。
映像認識部112は、記憶部120から各時点の映像データを読み出し、読み出した映像データについて映像認識処理を行う。判定部113は、記憶部120からその時点の識別情報を読み出す。判定部113は、読み出した識別情報と、映像認識部112から入力される映像認識情報に基づいて上述したように所定の監視範囲における人物の進入の有無を判定する。判定部113は、監視範囲に不審者が進入したと判定するとき、その判定に応じた所定の処理を行う。
また、比較部118は、不審者が映像に表示されていることを示す不審者情報を、不審者の進入を判定した映像を示す映像データに付加し、記憶部120に記憶する。
なお、制御部110は、ユーザの操作に基づく操作信号が操作入力部(図示せず)から入力されるとき、操作信号の指示に応じて不審者情報が付加された映像データを読み出し、読み出した映像データを表示部(図示せず)に出力してもよい。
本実施形態では、制御部110は、所定時間毎に取得される映像データを識別情報と時刻情報をもって対応付けて監視サーバ30に送信してもよい。その場合には、制御部110において、映像認識部112と判定部113が省略されてもよい。監視サーバ30における処理量は大量であることが許容される反面、監視カメラ装置10のハードウェア規模が比較的小規模にすることができる。ひいては、監視システムS2を経済的に実現することができる。
なお、制御部110が、映像認識部112と判定部113を備える場合には、監視システムS1において監視サーバ30が省略されてもよい。
監視サーバ30は、通信部302と、制御部310と、記憶部320と、を含んで構成される。
通信部302は、無線又は有線で監視カメラ装置10との間で通信を行う。通信部302が用いる通信方式は、監視カメラ装置10の第2通信部106と同一であればよい。通信部は、通信I/Fで構成される。
制御部310は、映像認識部312と、判定部313とを含んで構成される。判定部313は、人物カウント部314と、識別装置カウント部316と、比較部318とを備える。映像認識部312、人物カウント部314、識別装置カウント部316及び比較部318が行う処理は、それぞれ監視カメラ装置10の映像認識部112、人物カウント部114、識別装置カウント部116及び比較部118が行う処理と同様である。
制御部310は、CPUなどの1個又は複数の制御デバイスで構成される。制御部310は、記憶部320から予め記憶された所定のアプリを読み出し、読み出したアプリに記述された命令が示す処理を実行することで、映像認識部312及び判定部313の機能を実現する。
記憶部320は、各種のメモリで構成される。なお、監視サーバ30は、警報部108と同様の機能を有する警報部を備えてもよい。
(データ記録処理)
次に、本実施形態に係るデータ記録処理について説明する。本実施形態に係る監視カメラ装置10は、次に説明する処理を所定時間毎に行う。図10は、本実施形態に係るデータ記録処理の一例を示すフローチャートである。
(ステップS201)撮像部102は、撮像した映像を示す映像データを取得する。その後、ステップS202の処理に進む。
(ステップS202)制御部110は、撮像部102が取得した映像データを記憶部120に記録する。
(ステップS203)第1通信部104は、受信した信号に基づいて識別装置20を検出する。その後、ステップS204の処理に進む。
(ステップS204)制御部110は、第1通信部104が検出した識別装置20の識別情報を、その時点において取得された映像データと、その時点の時刻情報と対応付けて記憶部120に記録する。その後、図10に示す処理を終了する。
なお、ステップS203、S204の処理は、ステップS201、S202の処理と並行に行われる。そのため、ステップS203、S204の処理は、ステップS201、S202の後に行われることも、ステップS201、S202の処理と同時に行われることもある。
(監視処理)
次に、本実施形態に係る監視処理について説明する。図11は、本実施形態に係る監視処理の一例を示すフローチャートである。但し、次の説明では、監視カメラ装置10が、図11の処理を行うことを前提とするが、監視サーバ30が図11の処理を行ってもよい。即ち、監視カメラ装置10の映像認識部112、人物カウント部114、識別装置カウント部116に代えて、それぞれ監視サーバ30の映像認識部312、人物カウント部314、識別装置カウント部316が次に説明する処理を行う。
(ステップS211)映像認識部112は、記憶部120からある時点の映像データを読み出し、読み出した映像データが示す映像に表された人物を認識する。その後、ステップS212の処理に進む。
(ステップS212)人物カウント部114は、映像認識部112が認識した人物の数をカウントする。その後、ステップS213の処理に進む。
(ステップS213)識別装置カウント部116は、ステップS211において読み出された映像データに対応付けられた識別情報を記憶部120から読み出す。識別装置カウント部116は、読み出した識別情報に基づき、その時点で検出された識別装置20の数をカウントする。その後、ステップS214の処理に進む。
(ステップS214)比較部118は、認識された人物の数と検出された識別装置20の個数が一致するか否かを判定する。一致すると判定されるとき(ステップS214 YES)、比較部118は監視範囲に不審者が進入していないと判定し、図11に示す処理を終了する。一致しないと判定されるとき(ステップS214 NO)、比較部118は、監視範囲に不審者が進入したと判定し、ステップS215の処理に進む。
(ステップS215)比較部118は、不審者が映像に表示されていることを示す不審者情報を、不審者が進入したと判定した映像を示す映像データに付加し、記憶部120に記憶する。その後、図11に示す処理を終了する。
なお、ステップS213の処理は、ステップS211、S212の処理と並行に行われる。そのため、ステップS213の処理は、ステップS211、S212の後に行われることも、ステップS211、S212の処理と同時に行われることもある。
図11に示す処理は、図10に示す処理の終了直後に開始されなくてもよく、任意の時点、例えば、ユーザの操作入力により操作信号で指示された時点に開始されてもよい。
また、図11に示す処理を行う機器は、図10に示す処理を行う機器とは別個の機器であってもよい。例えば、監視サーバ30が、図11に示す処理を実行してもよい。そこで、監視カメラ装置10の制御部110は、所定の時点において記憶部120に記憶させた映像データと識別情報を対応付けて監視サーバ30に送信する。監視サーバ30の制御部310は、監視カメラ装置10から通信部302を介して映像データと識別情報を受信する。監視サーバ30の制御部310は、記憶部320に予め記憶させておいたデータを用いて図11に示す処理を行ってもよいし、新たに受信するデータを用いて図11に示す処理を行ってもよい。
また、監視カメラ装置10の制御部110又は監視サーバ30の制御部310は、監視範囲に不審者が進入したと判定するとき(ステップS214 NO)、上述したステップS107、S108、S109のいずれかの処理又はそれらの処理の予め定められた組み合わせを実行してもよい。監視システムS2において監視カメラ装置10が複数個存在する場合には、そのうちの一部の監視カメラ装置10が監視サーバ30(親機)として機能してもよい。
監視サーバ30の制御部310が図11に示す処理を行う場合には、映像データと識別情報の送信元である監視カメラ装置10の制御部110において、映像認識部112と判定部113が省略されてもよい。つまり、監視カメラ装置10は、その監視範囲に係る撮像部102と第1通信部104のセットとして機能する。
監視サーバ30の制御部310は、複数の監視カメラ装置10から取得した映像データと識別情報を用いて、それぞれの監視範囲毎に図11に示す処理を行ってもよい。
(他の装置からの映像、識別情報の取得)
また、本実施形態に係る監視システムS2でも、複数の監視カメラ装置10のうち、一部の監視カメラ装置10の撮像部102による映像データの取得と第1通信部104による識別装置20の探索を常時行い、それ以外の監視カメラ装置10の撮像部102による映像データの取得と第1通信部104による識別装置20の探索を常時行わなくてもよい。図7に示す例では、監視カメラ装置10−kの撮像部102による映像データの取得と第1通信部104による識別装置20の探索を常時行う。監視カメラ装置10−kの制御部110は、取得した映像データと検出した識別情報を対応付けて監視サーバ30に送信する。監視サーバ30は、監視カメラ装置10−kから受信した映像データと検出された識別情報を用いて図11に示す処理を行う。
図11の処理において、監視サーバ30の比較部318が、監視カメラ装置10−kの監視範囲に不審者が進入したと判定するとき、制御部310は、監視カメラ装置10−kの監視範囲の基準点から所定範囲内に監視範囲が存在する監視カメラ装置10に起動指示信号を送信する。図7に示す例では、起動指示信号の送信先は、監視カメラ装置10−k−1、10−k+1である。
監視カメラ装置10−k−1、10−k+1の制御部110は、監視サーバ30から起動指示信号を受信するとき、それぞれ撮像部102に映像データの取得と第1通信部104による識別装置20の探索を開始させ、取得した映像データと検出した識別情報を監視サーバ30に送信する。
監視サーバ30の制御部310は、監視カメラ装置10−k−1、10−k+1から受信した映像データと検出した識別情報を用いて、それぞれの監視範囲について図11の処理を開始する。また、監視サーバ30の比較部318が、監視カメラ装置10−k−1、10−k+1それぞれの監視範囲に人物に進入がないと判定する状態が所定時間以上継続する場合、制御部310は、監視カメラ装置10−k−1、10−k+1に停止指示信号を送信してもよい。監視カメラ装置10−k−1、10−k+1の制御部110は、監視サーバ30から停止指示信号を受信するとき、それぞれ撮像部102に映像データの取得と第1通信部104による識別装置20の探索を停止させ、映像データと検出した識別情報の送信を停止する。この場合、監視サーバ30の制御部310は、監視カメラ装置10−k−1、10−k+1それぞれの監視範囲について図11の処理を停止する。この構成によっても、映像データの送信に係るハードウェアの負荷や消費エネルギーの低減と、セキュリティの確保とを両立することができる。
図8に示す例では、5個の監視カメラ装置10−1〜10−5のうち、1個の監視カメラ装置10−1の撮像部102による映像データの取得と第1通信部104による識別装置20の探索を常時行う。監視カメラ装置10−1の制御部110は、取得した映像データと検出した識別情報を対応付けて監視サーバ30に送信する。監視サーバ30は、監視カメラ装置10−1から受信した映像データと検出された識別情報を用いて図11に示す処理を行う。
図11の処理において、監視サーバ30の比較部318が、監視カメラ装置10−1の監視範囲に不審者が進入したと判定するとき、制御部310は、監視カメラ装置10−2〜10−5に起動指示信号を送信する。監視サーバ30から起動指示信号を受信するとき、それぞれ撮像部102に映像データの取得と第1通信部104による識別装置20の探索を開始させ、取得した映像データと検出した識別情報を監視サーバ30に送信する。
監視サーバ30の制御部310は、監視カメラ装置10−2〜10−5から受信した映像データと検出した識別情報を用いて、それぞれの監視範囲について図11の処理を開始する。また、監視サーバ30の比較部318が、監視カメラ装置10−2〜10−5のそれぞれの監視範囲に人物に進入がないと判定する状態が所定時間以上継続する場合、制御部310は、監視カメラ装置10−2〜10−5に停止指示信号を送信してもよい。監視カメラ装置10−2〜10−5の制御部110が、監視サーバ30から停止指示信号を受信するとき、それぞれ撮像部102に映像データの取得と第1通信部104による識別装置20の探索を停止させ、映像データと検出した識別情報の送信を停止する。この場合、監視サーバ30の制御部310は、監視カメラ装置10−2〜10−5のそれぞれの監視範囲について図11の処理を停止する。この構成によっても、常時映像データを取得する監視カメラ装置10を監視カメラ装置10−1に限定し、その監視範囲に人物が進入したと判定される場合に、より密に配置された他の監視カメラ装置10−2〜10−5から取得される解像度がより高い映像が処理される。人物が進入する可能性が高いときに、解像度がより高い映像により、より精密な分析を行う手がかりが得られ、ハードウェアの負荷を高くする機会が限定される。そのため、監視システムS2全体として、ハードウェア資源が有効に利用される。
(他の機器からの起動指示)
また、監視サーバ30の制御部310は、他の機器として所定の監視範囲に係る開閉部材の開閉状態を制御するための開閉制御装置から起動開始指示を受信するとき、その監視範囲に係る監視カメラ装置10に起動開始指示を送信してもよい。
監視カメラ装置10の制御部110は、監視サーバ30から起動開始指示を受信するとき、それぞれ撮像部102に映像データの取得と第1通信部104による識別装置20の探索を開始させ、取得した映像データと検出した識別情報を監視サーバ30に送信する。
監視サーバ30の制御部310は、監視カメラ装置10から受信した映像データと検出した識別情報を用いて、その監視範囲について図11の処理を開始する。
そして、比較部318が、監視範囲に人物が進入したと判定するとき、開閉制御装置に閉鎖指示を送信してもよい。開閉制御装置は、監視サーバ30から閉鎖指示を受信するとき、開放中の開閉部材を閉鎖する。
また、監視サーバ30の比較部318が、その監視範囲に人物に進入がないと判定する状態が所定時間以上継続する場合、制御部310は、監視カメラ装置10に停止指示信号を送信してもよい。監視カメラ装置10の制御部110は、監視サーバ30から停止指示信号を受信するとき、それぞれ撮像部102に映像データの取得と第1通信部104による識別装置20の探索を停止させ、映像データと検出した識別情報の送信を停止する。この場合、監視サーバ30の制御部310は、その監視範囲について図11の処理を停止する。
この構成によっても、監視範囲がその他の領域に対して開放されるとき、その他の領域からの人物の進入をより確実に捕捉することができる。そのため、監視範囲又は監視範囲に連なる空間を有する施設におけるセキュリティが強化される。
(他の物体の要注意状態の検出)
以上の説明は、監視範囲内における物体の要注意状態が、主に識別情報が予め登録されていない不審者の監視範囲への進入である場合を例にしたが、これには限られない。監視対象の物体は人物に限られず、例えば、飼育動物(ペット)、家畜などの動物であってもよい。比較部118、318は、監視範囲内における物体の要注意状態として、予め登録されていない他の動物(例えば、熊、野犬など)の進入の有無を判定してもよい。
また、比較部118、318は、監視範囲内における物体の要注意状態として、監視範囲からの物体の退出の有無を判定してもよい。監視対象の物体は、児童、被介護者などの人物の他、例えば、上述した電子機器、貴金属、展示品など、監視範囲からの消失が望まれない物体であればよい。監視範囲からの物体の消失の有無を検出する場合には、その物体に識別装置20を所持させず、監視範囲内にその物体に対応する識別装置20を設置しておいてもよい。これにより、制御部110、310は、監視範囲内において映像から認識された物体の数が、識別装置20の数よりも少ないとき、監視範囲からの物体の退出を判定することができる。
(総括)
以上に説明した監視装置(例えば、監視カメラ装置10、監視サーバ30)は、映像に表れた物体を認識する映像認識部(例えば、映像認識部112、312)を備える。監視装置は、無線で検出された物体毎の識別装置(例えば、識別装置20)の識別情報を取得し、映像に表れた物体の数と検出された識別装置の数が一致しないとき、物体が要注意状態であることを判定する判定部113、313を備える。
この構成により、物体の向きにより個々の特徴、例えば、人物の顔が特定されない場合であっても、認識された物体の個数と、個々の物体が所持する識別装置の個数の不一致により、その物体が要注意状態であることが判定される。そのため、映像から取得した個々の物体の特徴を用いる場合よりも、所定の監視範囲内における所定の物体が要注意状態であることが的確に検知される。
また、監視装置は、要注意状態であることが判定された物体を表す区間の映像を記憶する記憶部(例えば、記憶部120、320)を備えてもよい。
この構成により、映像を記憶すべき区間が、監視範囲内における物体が要注意状態であることが判定された物体を表す区間に限定されるので、記憶部の記憶容量を節減することができる。
また、監視装置は、要注意状態であることが判定されるとき、警報を報知する警報部(例えば、警報部108、308)を備えてもよい。
この構成により、警報に接したユーザが監視範囲内における物体が要注意状態であることを認識し、要注意状態であることに対する措置を講ずる手がかりが与えられる。
また、監視装置(例えば、監視カメラ装置10)は、要注意状態であることが判定される区間の映像を所定の機器(例えば、監視サーバ30)に送信する通信部(例えば、第2通信部106)を備えてもよい。
この構成により、所定の機器は、要注意状態であることが判定される区間の映像を取得することができる。そのため、監視装置から遠隔に所在する機器において、その映像を用いて監視範囲における物体の状況を観察又は解析することができる。また、映像を送信すべき区間が、監視範囲内における物体の要注意状態であることが判定された物体を表す区間に限定されるので、通信部の伝送容量を節減することができる。
また、監視装置(例えば、監視カメラ装置10、監視サーバ30)は、要注意状態であることが判定される区間の映像を、その他の区間よりも高い解像度で提供する制御部(例えば、制御部110、310)を備えてもよい。
そのため、要注意状態であることが判定される区間の映像に示される監視範囲内の物体の状態を、より精密かつ詳細に観察又は解析することができる。
また、制御部(例えば、制御部110、310)は、要注意状態であることが判定される区間の映像において所定の物体が表れる領域の解像度を、その他の領域よりも高い解像で提供してもよい。
この構成により、要注意状態であることが判定される区間の映像に示される監視範囲内の物体として、所定の物体の状態を、より精密かつ詳細に観察又は解析することができる。同時に、解像度を映像内で一律にするときよりも映像を提供するための記憶容量や伝送容量を節減することができる。
また、監視装置(例えば、監視カメラ装置10、監視サーバ30)は、要注意状態であることが判定されるとき、映像に映る撮像範囲を含む空間から、その空間に隣接する空間への通行を制御する機器に、その通行をさせないようにする制御部(例えば、制御部110、310)を備えてもよい。例えば、撮像範囲が集合住宅の玄関ホールである場合には、それに隣接する居住区域への通行を制御する機器は、玄関ホールと居住区域の間に設けられるドアの開閉装置である。
この構成により、その撮像範囲を監視範囲とする空間内における、その物体が要注意状態である状態(例えば、不審者の進入)を保全することができる。そのため、監視範囲外である隣接する空間における物体が要注意状態になることを阻止することができる。
また、監視装置(例えば、監視カメラ装置10)の通信部(例えば、第1通信部104)が識別装置(例えば、識別装置20)を無線で検出できる通信範囲は、撮像部(例えば、撮像部102)が撮像された映像に映る撮像範囲と等しい。
この構成により、通信範囲における識別装置の検出結果と、撮像範囲としてその識別装置を所持する物体の認識結果が一致する。そのため、通信範囲又は撮像範囲を監視範囲とすることで、監視範囲内における物体が要注意状態であることとして、識別装置を所持しない物体の出現又は物体に所持されない識別装置の出現が検出される。
但し、その通信範囲と撮像範囲は厳密に一致していなくてもよく、通信範囲と撮像範囲の一方が他方よりも広くても、その一方がその他方よりも狭くても、その一方とその他方のそれぞれに両者が重複しない領域がある場合であっても、実質的に一致していればよい。実質的に一致するとは、例えば、受信信号に基づいて識別情報を所定の検出精度で取得できる通信範囲と映像に基づいて物体を所定の認識精度で認識できる撮像範囲が一致していることを指す。
また、以上に説明した監視システム(例えば、監視システムS1、S2)は、撮像部(例えば、撮像部102)と識別装置(例えば、識別装置20)と通信する通信部(例えば、第1通信部104)とのセット(例えば、監視カメラ装置10−1〜10−5)をそれぞれ異なる位置に複数備えてもよい。監視システムは、複数のセットのうち、少なくとも一セット(例えば、監視カメラ装置10−1)の撮像部が撮像した映像と当該セットの通信部が検出した識別情報に基づいて物体が要注意状態であることを判定するとき、その少なくとも一セットとは他のセット(例えば、監視カメラ装置10−2〜10−5)の通信部と撮像部を起動させる制御部(例えば、制御部110、310)、を備える。
この構成により、常時動作させる撮像部と通信部を一部のセットの撮像部と通信部に限定し、監視範囲内において物体が要注意状態であることが判定されるとき、その他のセットの撮像部と通信部を動作させることができる。そのため、一部のセットに係る監視範囲の周囲における物体の状態の監視を開始することや、一部のセットに係る監視範囲における物体の精密もしくは詳細な観察又は解析を開始することができる。
以上、図面を参照してこの発明の実施形態とその変形例について説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
本発明のいくつかの態様は、監視範囲における監視対象が要注意状態であることを的確に検知することが必要な監視システム、監視方法及びプログラムなどに適用することができる。
S1、S2…監視システム、10(10−1〜10−K)…監視カメラ装置、20…識別装置、30…監視サーバ、102…撮像部、104…第1通信部、106…第2通信部、108…警報部、110…制御部、112…映像認識部、113…判定部、114…人物カウント部、116…識別装置カウント部、118…比較部、120…記憶部、142…カメラ、144…近距離通信I/F、145(145−1〜145−4)…アンテナ、146…通信I/F、148…スピーカ、150…CPU、152…メモリ、302…通信部、310…制御部、312…映像認識部、313…判定部、314…人物カウント部、316…識別装置カウント部、318…比較部、320…記憶部

Claims (6)

  1. 第1監視領域の第1映像を撮像する第1撮像部と、
    前記第1監視領域内に識別装置が存在する場合に、無線通信により前記識別装置を検出する第1通信部と、
    前記第1監視領域とは異なる第2監視領域の第2映像を撮像する第2撮像部と、
    前記第2監視領域内に前記識別装置が存在する場合に、無線通信により前記識別装置を検出する第2通信部と、
    前記第1撮像部が撮像した前記第1映像に表れた物体の数と、前記第1通信部が検出した前記識別装置の数とが一致しない場合に、前記第2撮像部および前記第2通信部を起動させる制御部と、
    を備える監視システム。
  2. 前記第1映像を記録する記憶部をさらに備え、
    前記制御部は、
    認識された前記物体の数と検出された前記識別装置の数とが一致しないと判定された前記第1監視領域の前記第1映像を前記記憶部に記憶させる
    請求項1に記載の監視システム。
  3. 警報を報知する警報部をさらに備え、
    前記制御部は、
    認識された前記物体の数と検出された前記識別装置の数とが一致しないと判定されるとき、前記警報部に警報を報知させる
    請求項1又は請求項2に記載の監視システム。
  4. 認識された前記物体の数と検出された前記識別装置の数とが一致しないと判定された前記第1監視領域の前記第1映像を、所定の機器に対して送信する第3通信部をさらに備える
    請求項1から請求項3のいずれか一項に記載の監視システム。
  5. 第1監視領域の第1映像を第1撮像部により撮像する第1過程と、
    前記第1監視領域内に識別装置が存在する場合に、無線通信により前記識別装置を第1通信部により検出する第2過程と、
    前記第1撮像部が撮像した前記第1映像に表れた物体の数と、前記第1通信部が検出した前記識別装置の数とが一致しない場合に、前記第1監視領域とは異なる第2監視領域の第2映像を撮像する第2撮像部と、前記第2監視領域内に前記識別装置が存在する場合に、無線通信により前記識別装置を検出する第2通信部と、を起動させる第3過程と、
    を有する監視方法。
  6. 監視装置のコンピュータに、
    第1監視領域の第1映像を第1撮像部により撮像する第1手順と、
    前記第1監視領域内に識別装置が存在する場合に、無線通信により前記識別装置を第1通信部により検出する第2手順と、
    前記第1撮像部が撮像した前記第1映像に表れた物体の数と、前記第1通信部が検出した前記識別装置の数とが一致しない場合に、前記第1監視領域とは異なる第2監視領域の第2映像を撮像する第2撮像部と、前記第2監視領域内に前記識別装置が存在する場合に、無線通信により前記識別装置を検出する第2通信部と、を起動させる第3手順と、
    を実行させるためのプログラム。
JP2018565644A 2017-02-01 2018-02-01 監視システム、監視方法及びプログラム Active JP6754451B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017016604 2017-02-01
JP2017016604 2017-02-01
PCT/JP2018/003402 WO2018143341A1 (ja) 2017-02-01 2018-02-01 監視装置、監視システム、監視方法及びプログラム

Publications (2)

Publication Number Publication Date
JPWO2018143341A1 JPWO2018143341A1 (ja) 2019-11-07
JP6754451B2 true JP6754451B2 (ja) 2020-09-09

Family

ID=63040725

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018565644A Active JP6754451B2 (ja) 2017-02-01 2018-02-01 監視システム、監視方法及びプログラム

Country Status (2)

Country Link
JP (1) JP6754451B2 (ja)
WO (1) WO2018143341A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11283915B2 (en) * 2016-10-07 2022-03-22 Sony Corporation Server, client terminal, control method, and storage medium
CN111126102A (zh) * 2018-10-30 2020-05-08 富士通株式会社 人员搜索方法、装置及图像处理设备

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002133540A (ja) * 2000-10-20 2002-05-10 Fujitsu General Ltd 防犯監視装置
JP2006033793A (ja) * 2004-06-14 2006-02-02 Victor Co Of Japan Ltd 追尾映像再生装置
JP2006195504A (ja) * 2005-01-11 2006-07-27 Mitsubishi Electric Corp エリア管理システム
JP4800073B2 (ja) * 2006-03-09 2011-10-26 富士フイルム株式会社 監視システム、監視方法、及び監視プログラム
JP5825836B2 (ja) * 2011-05-02 2015-12-02 三菱電機株式会社 映像監視システム
JP6040093B2 (ja) * 2013-04-24 2016-12-07 株式会社ネットワークス 入館管理装置及び管理方法

Also Published As

Publication number Publication date
JPWO2018143341A1 (ja) 2019-11-07
WO2018143341A1 (ja) 2018-08-09

Similar Documents

Publication Publication Date Title
US11062577B2 (en) Parcel theft deterrence for A/V recording and communication devices
US11532219B2 (en) Parcel theft deterrence for A/V recording and communication devices
US11735018B2 (en) Security system with face recognition
US10475311B2 (en) Dynamic assessment using an audio/video recording and communication device
US9396400B1 (en) Computer-vision based security system using a depth camera
US7535353B2 (en) Surveillance system and surveillance method
JP6529062B1 (ja) デジタルアキュレート・セキュリティシステム、方法及びプログラム
KR101387628B1 (ko) 출입 통제 통합 영상 저장 장치
EP3785244A1 (en) Sensor fusion for monitoring an object-of-interest in a region
US11308792B2 (en) Security systems integration
JP5047361B2 (ja) 監視システム
JP6754451B2 (ja) 監視システム、監視方法及びプログラム
US20220382383A1 (en) Monitoring System and Method Having Gesture Detection
JP7337399B2 (ja) 防犯管理システム、および防犯管理方法
KR20190114717A (ko) 도어벨, 이를 구비한 보안 시스템 및 그 동작 방법
JP2006155435A (ja) 不審者検出装置
JP7244135B2 (ja) デジタルセフティ・レスポンスセキュリティシステム、方法及びプログラム
JP2024033723A (ja) 撮像制御装置、プログラム及び撮像制御方法
HK40059619A (en) Accurate digital security system, method, and program

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190613

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190613

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200212

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200413

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20200602

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200707

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20200716

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200811

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200821

R150 Certificate of patent or registration of utility model

Ref document number: 6754451

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150