[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

TW201802764A - 群集監視裝置以及群集監視系統 - Google Patents

群集監視裝置以及群集監視系統

Info

Publication number
TW201802764A
TW201802764A TW105143823A TW105143823A TW201802764A TW 201802764 A TW201802764 A TW 201802764A TW 105143823 A TW105143823 A TW 105143823A TW 105143823 A TW105143823 A TW 105143823A TW 201802764 A TW201802764 A TW 201802764A
Authority
TW
Taiwan
Prior art keywords
unit
state
data
information
image
Prior art date
Application number
TW105143823A
Other languages
English (en)
Inventor
守屋芳美
服部亮史
宮澤一之
関口俊一
Original Assignee
三菱電機股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機股份有限公司 filed Critical 三菱電機股份有限公司
Publication of TW201802764A publication Critical patent/TW201802764A/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/96—Management of image or video recognition tasks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Alarm Systems (AREA)
  • Traffic Control Systems (AREA)

Abstract

包括參數導出部(13)，導出狀態參數，根據顯示感應器(401,402,…,40p)檢出的物體群並給予以實空間為基準的空間特徵量的資訊之感應資料，顯示上述感應資料指示的物體群的狀態特徵量；以及群眾狀態預測部(14)，根據參數導出部(13)導出的狀態參數，作成預測物體群的狀態之預測資料。

Description

群集監視裝置以及群集監視系統
本發明係關於預測群集流動之群集監視裝置以及群集監視系統。
一直以來，推斷混雜度或人群流動等的技術是眾所周知的。
例如，專利文件1中，揭示在車站的月台或中央大廳等，不只是考慮固定的空間資訊，還有鐵路的行車時間資訊、車站的進出履歷資訊等的感應器間的動態因果關係，推斷混雜度或人群流動等的技術。
[先行技術文件] [專利文件]
[專利文件1]專利第2013-116676號公開公報
但是，如專利文件1揭示的技術中，例如，將混雜度與車站的進出場履歷資訊等之間的因果關係構造化之人群流動履歷，必須事前資料庫化，屋外或屋內的活動會場等，人群流動履歷事前資料庫化困難的環境中，具有有時難以推斷人群流動的課題。
此發明係用以解決上述的的課題而形成，目的在於在不能預先掌握混雜度或群集流動的環境中，提供能夠推斷混雜度或群集流動的群集監視裝置以及群集監視系統。
根據本發明的群集監視裝置，包括參數導出部，導出狀態參數，根據顯示感應器檢出的物體群並給予以實空間為基準的空間特徵量的資訊之感應資料，顯示上述感應資料指示的物體群的狀態特徵量；以及群眾狀態預測部，根據參數導出部導出的狀態參數，作成預測物體群的狀態之預測資料。
根據本發明，在不能預先掌握混雜度或群集流動的環境中，可以推斷混雜度或群集流動。
1‧‧‧警備支援系統
10、10a‧‧‧群集監視裝置
11‧‧‧感應資料接收部
11a‧‧‧感應資料接收部
12‧‧‧公開資料接收部
13‧‧‧參數導出部
14‧‧‧群眾狀態預測部
15‧‧‧警備計畫導出部
16‧‧‧狀態提示部
17‧‧‧計畫提示部
20‧‧‧影像處理裝置
20a‧‧‧影像處理裝置
21‧‧‧影像解析部
22‧‧‧描述符產生部
31‧‧‧資料記錄控制部
32‧‧‧儲存器
33‧‧‧DB界面部
40‧‧‧顯示機器
41‧‧‧顯示畫面
70‧‧‧外部機器
71、72‧‧‧外部機器
73、74‧‧‧外部機器
101‧‧‧拍攝部
102‧‧‧資料傳送部
131、132、…、13R‧‧‧群眾參數導出部
141‧‧‧空間群眾狀態預測部
142‧‧‧時間群眾狀態預測部
211‧‧‧影像辦識部
212‧‧‧圖案記憶部
213‧‧‧解碼部
301、302‧‧‧建築物的物體
303‧‧‧構造物的物體
304‧‧‧背景的物體
321‧‧‧第1資料記錄部
322‧‧‧第2資料記錄部
401、402、…、40p‧‧‧感應器
501、502、...、50n‧‧‧伺服器裝置
2101‧‧‧物體檢出部
2102‧‧‧縮尺推斷部
2103‧‧‧圖案檢出部
2104‧‧‧圖案解析部
2201‧‧‧處理電路
2202‧‧‧HDD
2203‧‧‧輸入界面裝置
2204‧‧‧記憶體
2205‧‧‧CPU
2301‧‧‧處理電路
2302‧‧‧HDD(硬碟機)
2303‧‧‧記憶體
2304‧‧‧CPU(中央處理單元)
[第1圖]係備置根據本發明的第一實施形態的群集監視裝置之警備支援系統的構成圖；[第2圖]係構成第一實施形態的警備支援系統的感應器的構成圖；[第3圖]係說明第一實施形態中影像解析部的詳細構成的圖；[第4圖]係根據本發明的第一實施形態的群集監視裝置的構成圖；[第5圖]係說明第一實施形態中感應器的動作的流程圖；[第6圖]係說明第5圖的步驟ST502中的第1影像解析處 理的動作的一範例的流程圖；[第7圖]係顯示第一實施形態中縮尺推斷部進行輸入影像上的物體的縮尺推斷的結果的影像的一範例圖；[第8圖]係第5圖的步驟ST503中的第2影像解析處理的動作的一範例的流程圖；[第9圖]係顯示第一實施形態中圖案解析部進行第7圖中例示的輸入影像上的編碼圖(CODE PATTERN)的解析結果的影像的一範例圖；[第10圖]係顯示第一實施形態中顯示空間的編碼圖PN×的顯示機器的一範例圖；[第11圖]係顯示第一實施形態中圖案解析部推斷物體的定位資訊的結果的影像的一範例圖；[第12圖]係顯示第一實施形態中空間的描述符格式的範例圖；[第13圖]係顯示第一實施形態中空間的描述符格式的範例圖；[第14圖]係顯示第一實施形態中GNSS資訊的描述符即地理描述符的格式的範例圖；[第15圖]係顯示第一實施形態中GNSS資訊的描述符即地理描述符的格式的範例圖；[第16圖]係說明根據第一實施形態的群集監視裝置的動作流程圖；[第17圖]係用以說明第一實施形態中群眾參數導出部特別指定群眾區域的動作的一範例圖； [第18圖]係說明第一實施形態中群眾狀態預測部的時間群眾狀態預測部，預測未來的群眾狀態，作成「時間預測資料」的方法的一範例圖；[第19圖]第19A、19B圖係說明狀態提示部產生的視覺資料顯示在外部機器的顯示裝置上的影像的一範例圖；[第20圖]第20A、20B圖係說明狀態提示部產生的視覺資料顯示在外部機器的顯示裝置上的影像的另一範例圖；[第21圖]係說明第一實施形態中狀態提示部產生的視覺資料顯示在外部機器的顯示裝置上的影像的又另一範例圖；[第22圖]第22A、22B圖係顯示根據本發明的第一實施形態的群集監視裝置的硬體構成的一範例圖；[第23圖]第23A、23B圖係顯示根據本發明的第一實施形態的影像處理裝置的硬體構成的一範例圖；[第24圖]係根據本發明的第二實施形態的群集監視裝置的構成圖；[第25圖]係說明第三實施形態中時間群眾狀態預測部以「群眾行動種類」作為「對向流」檢出的群眾移動方向分為2方向的一範例圖；[第26圖]係說明第三實施形態中算出通過人數的區域的一範例圖；[第27圖]係顯示第三實施形態中拍攝影像內的流量算出區域與流量算出區域內的既定線的影像的一範例圖；[第28圖]係說明第三實施形態中，作為具有既定線往「IN」方向移動的流量計算的畫素數與群眾密度之間的關係的一範 例圖；[第29圖]第29A、29B圖係用以說明第三實施形態中，拍攝影像內得到畫素數與群眾密度之間的關係的一範例圖；[第30圖]係顯示第三實施形態中，計算的畫素數除以每人的畫素數的值與「IN」方向的流量關係的一範例圖；[第31圖]係第三實施形態中，每1枚影像圖框實行的群集流量算出處理的處理流程；[第32圖]係顯示第三實施形態中，作為群集的位置關係的模型，人物以格子狀排列的狀態的一範例圖；[第33圖]係用以說明第三實施形態中，由於格子狀模型對攝影機光軸方向傾斜，前景區域的視覺功效、面積變動的範例圖；[第34圖]係用以說明第三實施形態中，由於格子狀模型對攝影機光軸方向傾斜，前景區域的視覺功效、面積變動的範例圖；[第35圖]係用以說明第三實施形態中，使用者手動指定用以平面近似測量對象區域的路面的參數的範例圖；[第36圖]係用以說明第三實施形態中，攝影機影像深側的人物區域，被眼前的人物隱藏的人物區域的圖；以及[第37圖]係說明影像處理裝置能夠先積累描述符資訊的構成的一範例圖。
以下，關於此發明的形態，一邊參照圖面，一邊詳細說明。
[第一實施形態]
第1圖係備置根據本發明的第一實施形態的群集監視裝置 10之警備支援系統1的構成圖。
在此，例如，作為應用根據本發明的第一實施形態的群集監視裝置10之群集監視系統，以下以警備支援系統1為例說明。
此第一實施形態中的警備支援系統1，例如可以由設施場內、活動會場或市區等的場所內存在的群眾，以及上述場所內配置的警備擔任者運用作為利用的對象。
設施場內、活動會場或市區等形成群體的多數人們，即包含警備擔任者的群眾聚集的場所中，可能常常發生混亂。因為混亂不損害其場所的群眾的舒適性，同時過密的混亂成為捲入群眾的事故原因，適當的警備所產生的混亂迴避極為重要。又，迅速發現負傷者、身體不適者、交通弱勢及採取危險行動的人物或集團，進行適當的警備在群眾保安中很重要。
此第一實施形態中的警備支援系統中，例如，群集監視裝置10，基於根據從作為感應器401,402,…,40p的拍攝裝置取得的影像資料推斷的狀態，顯示群眾狀態的資訊與適當的警備計畫，作為對警備支援有用的資訊，提示使用者。
又，此第一實施形態中，所謂使用者，例如假設為群眾或監視對象區域的警備人員。又，此第一實施形態中，所謂對象區域，假設為以群眾為監視對象之範圍。
如第1圖所示，警備支援系統1，包括群集監視裝置10、感應器401,402,…,40p、伺服器裝置501,502,...,50n及外部機器70
感應器401,402,…,40p與群集監視裝置10，經由 網路NW1連接。
第1圖中，感應器401,402,…,40p是3台以上，這不過是一範例，1台或2台感應器，經由通訊網路NW1連接至群集監視裝置10也可以。
又，伺服器裝置501,502,...,50n與群集監視裝置10，經由通訊網路NW2連接。
第1圖中，伺服器裝置501,502,...,50n是3台以上，這不過是一範例，1台或2台伺服器裝置，經由通訊網路NW2連接至群集監視裝置10也可以。
作為通訊網路NW1、NW2，例如，舉出連結有線LAN(區域網)或無線LAN等的場內通訊網、據點間的專用線路網或網際網路等的廣域通訊網。又，此第一實施形態中，通訊網路NW1、NW2係構成互不相同，但不限定於此。通訊網路NW1、NW2構成單一的通訊網路也可以。
感應器401,402,…,40p分散配置在單數或複數的對象區域內，感應器401,402,…,40p各個電性或光學檢出對象區域的狀態並產生檢出信號，對上述檢出信號施行信號處理，產生感應資料。此感應資料，包含處理完成資料，指示以檢出信號顯示的檢出內容抽象化或緊密化的內容。
感應器401,402,…,40p，將產生的感應資料，經由通訊網路NW1傳送至群集監視裝置10。
此第一實施形態中，感應器401,402,…,40p，例如是攝影機等的拍攝裝置，但不限於此，作為感應器401,402,…,40p，也可以使用各式各樣種類的感應器。
感應器401,402,…,40p的種類，大致區分為設置在固定位置的固定感應器以及裝載在移動體中的移動感應器2種。固定感應器，例如，可以使用光學攝影機、雷射測距感應器、超音波測距感應器、集音麥克風、熱感攝影機、夜視攝影機及立體攝影機。另一方面，作為移動感應器，除了與固定感應器同種的感應器之外，例如可以使用定位計、加速度感應器、生命感應器。移動感應器，主要隨著檢出對象的群眾即感應對象的物體群移動的同時進行感應，能夠使用於直接感應上述物體群的移動及狀態的用途。又，觀察人類是物體群的狀態，接受指示其觀察結果的主觀資料輸入的裝置，用作感應器的一部分也可以。此種裝置，例如，通過上述人類持有的智慧型手機或配戴標籤機器等的移動通訊終端，可以供給其主觀的資料作為感應資料。
又，感應器401,402,…,40p，只以單一種類的感應器構成也可以，或者以複數種類的感應器構成也可以
感應器401,402,…,40p，各個設置於可以電性或光學檢出對象區域的狀態的位置，即在此可以檢出群眾的位置，警備支援系統1動作期間，根據需要可以傳送檢出群眾的結果。固定感應器，例如，設置在街燈、電線桿、天花板或牆壁上。移動感應器，例如，由警備人員攜帶，或者裝載在警備機器人或巡邏車等的移動體中。又，形成群眾的各個人或警備人員持有的智慧型電話或配戴機器等的移動通訊終端內附屬的感應器，用作上述移動感應器也可以。在此情況下，形成成為警備對象的群眾之各個人或警備人員持有的移動通訊終端內，為了預先安裝感應資料收集用的應用程式或軟體，最好預 先建構感應資料收集的結構。
伺服器裝置501,502,...,50n，分送SNS(社交網路服務/社交網站)資訊及公共資訊等的公開資料。SNS，係指Twitter(註冊商標)或Facebook(註冊商標)等的即時性高，且使用者的投稿內容一般公開的交流服務或交流網站。SNS資訊，係以那種交流服務或交流網站一般公開的資訊。又，作為公共資訊，例如舉出自治體等的行政單位、公共交通機關或氣象局提供的交通資訊或氣象資訊、服務供應商等提供針對智慧型手機的應用程式使用者的位置資訊等。
群集監視裝置10，根據從單數或複數的對象區域內分散配置的感應器401,402,…,40p傳送的感應資料，掌握或預測對象區域內的群眾狀態。
又，群集監視裝置10，取得從通訊網路NW2上的伺服器裝置501,502,...,50n分送的公開資料時，根據上述取得的感應資料及公開資料，掌握或預測對象區域內的群眾狀態。
又，群集監視裝置10，根據掌握或預測的對象區域內的群眾狀態，演算導出以使用者容易理解的形態加工之指示群眾的過去、現在或未來的狀態的資訊及適當的警備計畫，傳送指示上述過去、現在或未來的狀態的資訊及警備計畫至外部機器70，作為對警備支援有用的資訊。
外部機器70，例如專用監視機器，廣泛應用的PC(個人電腦)、平板終端或智慧型手機等的資訊終端或不特定多數的許多人可以視聽的大型顯示器及揚聲器等。
外部機器70，輸出從群集監視裝置10傳送且對包含指示 過去、現在或未來的狀態的資訊及警備計畫對警備支援有用的資訊。外部機器70，輸出對警備支援有用的資訊的輸出方法，例如外部機器70是監視機器的話，顯示在畫面上為影像也可以，外部機器70是揚聲器的話，輸出為聲音也可以，資訊終端的話，以振動器使資訊終端振動也可以，配合外部機器70的形態，可以採用適當的輸出方法。
警備人員或群眾，藉由確認從外部機器70輸出的資訊，可以掌握對象區域內的群眾的現在或未來的狀態、警備計畫等。
第2圖係構成第一實施形態的警備支援系統1的感應器401的構成圖。
首先，說明關於此第一實施形態中的感應器401的構成。
又，如上述，此第一實施形態中，例如，感應器為攝影機等的拍攝裝置。第2圖中，感應器401,402,…,40p之中，雖然圖示感應器401的構成，但此第一實施形態中，關於感應器401,402,…,40p，也與第2圖所示的感應器401相同的構成。
此第一實施形態中，感應器401,402,…,40p，拍攝對象區域，解析拍攝影像再檢出上述拍攝影像中出現的物體，產生指示上述檢出的物體的空間、地理及視覺的特徵量的描述符資料，隨著影像資料傳送至群集監視裝置10。
如第2圖所示，感應器401，裝載影像處理裝置20，且包括拍攝部101與資料傳送部102。
又，在此，如第2圖所示，影像處理裝置20，裝載在感應器401中，但不限於此，影像處理裝置20，也可以備置在感應 器401的外部，經由網路與感應器401的拍攝部101及資料傳送部102連接。
拍攝部101，拍攝對象區域，並輸出拍攝的拍攝影像的影像資料(第2圖的Vd)至影像處理裝置20。又，拍攝部101拍攝輸出的影像資料包含靜止影像資料或動態影像資料。
拍攝部101，包括形成存在於對象區域的被拍體的光學像之拍攝光學系、轉換其光學像為電信號的固體拍攝元件、以及壓縮符號化其電信號為靜止影像資料或動態影像資料的編碼電路。作為固體拍攝元件，例如使用CCD(電荷耦合元件)或CMOS(互補金屬氧化物半導體)元件即可。
拍攝部101，壓縮符號化固體拍攝元件的輸出為影像資料時，例如，依照MPEG-2 TS(動態圖像專家組2傳輸串流)、RTP/RTSP(即時傳輸協定/即時串流協定)、MMT(MPEG媒體傳輸)或DASH(基於HTTP的動態自適應串流)等的串流方式，可以產生壓縮符號化的動態影像串流。又，此第一實施形態中使用的串流方式，不限定於MPEG-2 TS、RTP/RTSP、MMT及DASH。但是，其中任一串流方式，在影像處理裝置20中，可以單一分離動態影像串流內包含的動態影像資料之識別符資料，都有必要在上述動態影像串流內多重化。
影像處理裝置20，對於從拍攝部101取得的影像資料進行影像解析，把指示解析結果的空間或地理的描述符(第2圖的Dsr)與影像資料連結，輸出至資料傳送部102。
關於影像處理裝置20的詳細構成，之後敘述。
資料傳送部102，將拍攝部101輸出的影像資料與 影像處理裝置20輸出的描述符，互相加以連結且多重化，再經由通訊網路NW1傳送至群集監視裝置10作為感應資料。
說明關於影像處理裝置20的詳細構成。
影像處理裝置20，如第2圖所示，包括影像解析部21、描述符產生部22。
影像解析部21，從拍攝部101取得影像資料，進行影像解析。影像解析部21，輸出解析結果至描述符產生部22。具體而言，影像處理裝置20，具有輸入界面裝置(省略圖示)，輸入界面裝置接受從拍攝部101輸出的影像資料，輸出上述接受的影像資料至影像解析部21。即，影像解析部21，經由輸入界面裝置，取得從拍攝部101輸出的影像資料。
描述符產生部22，根據影像解析部21輸出的解析結果，產生指示上述解析結果的空間或地理描述符。又，描述符產生部22，除了空間描述符或地理描述符之外，例如還有指示物體的顏色、紋理、形狀、動作及臉等的特徵量的視覺描述符等，具有產生根據MPEG規格的已知描述符之機能。此已知的描述符，例如，因為由MPEG-7規定，省略詳細的說明。
描述符產生部22，輸出產生的描述符的資訊至資料傳送部102。具體而言，影像處理裝置20包括輸出界面裝置(省略圖示)，輸出界面裝置輸出描述符產生部22產生的描述符的資訊至資料傳送部102。即，描述符產生部22，經由輸出界面裝置，輸出描述符的資訊至資料傳送部102。
第3圖係說明第一實施形態中影像解析部21的詳細構成的圖。
如第3圖所示，影像解析部21，包括影像辦識部211、圖案記憶部212、解碼部213。
影像辦識部211，以物體檢出部2101、縮尺推斷部2102、圖案檢出部2103、圖案解析部2104構成。
解碼部213，取得拍攝部101輸出的影像資料，依照拍攝部101中使用的壓縮符號化方式，解碼壓縮的影像資料。解碼部213，輸出解碼後的影像資料作為解碼資料至影像辦識部211。
圖案記憶部212，例如記憶表示行人等的人體、信號機、標誌、汽車、腳踏車及建築物等的各式各樣的物體的平面形狀、立體形狀、大小及顏色等的特徵之圖案。圖案記憶部212記憶的圖案係預先決定。
影像辦識部211的物體檢出部2101，解析從解碼部213取得的解碼資料表示的單數或複數的輸入影像，再檢出上述輸入影像中出現的物體。具體而言，物體檢出部2101，藉由比較以解碼資料指示的輸入影像與圖案記憶部212內記憶的圖案，檢出輸入影像中出現的物體。
物體檢出部2101，輸出檢出的物體資訊至縮尺推斷部2102、圖案檢出部2103。
影像辦識部211的縮尺推斷部2102，將物體檢出部2101檢出的物體以實際的拍攝環境的實空間為基準的空間特徵量，推斷作為縮尺資訊。作為物體的空間特徵量，最好推斷表示上述實空間內的物體的物理尺寸的量。以下，表示實空間內的物體的物理比例之量，只稱作「物理量」。所謂物體的 物理量，例如，係物體的高度或寬度，或者物體的高度或寬度的平均值。
具體而言，縮尺推斷部2102，參照圖案記憶部212，取得以物體檢出部2101檢出的物體物理量。例如，物體，如果是信號機及標誌等的情況下，因為信號機及標誌等的形狀及尺寸是已知的，例如使用者的警備人員儘量事前將信號機及標誌等的形狀及尺寸的數值先記憶在圖案記憶部212內。又，例如，物體是汽車、腳踏車及行人等的情況下，因為汽車、腳踏車及行人等的形狀及尺寸的數值的偏離收納在一定的範圍內，例如使用者的警備人員，儘量事前將汽車、腳踏車及行人等的形狀及尺寸的平均值記憶在圖案記憶部212內。
又，縮尺推斷部2102，例如，物體朝向的方向等，也可以推斷物體的姿勢作為1個空間特徵量。
感應器401具有立體攝影機或測距攝影機等的3次元影像產生機能的情況下，拍攝部101拍攝並在解碼部213中解碼的影像，不只包含物體的強度資訊，還有上述物體的深度(depth)資訊。在此情況下，縮尺推斷部2102，關於物體檢出部2101檢出的物體，可以取得物體的深度資訊作為1個物理量。
影像辦識部211的圖案檢出部2103與圖案解析部2104，推斷物體檢出部2101檢出的物體的地理資訊。所謂地理資訊，例如，指示物體在地球上的位置的定位資訊。
圖案檢出部2103，檢出解碼部213解碼的影像資料表示的影像中的編碼圖。編碼圖，係在物體檢出部2101檢出的物體的近旁被檢出，例如2次元碼等的空間編碼圖，或依 既定規則光閃爍的圖案等的時序編碼圖。或者，是空間編碼圖與時序編碼圖的組合也可以。圖案檢出部2103，輸出檢出的編碼圖至圖案解析部2104。
圖案解析部2104，解析從圖案檢出部2103取得的編碼圖，再檢出定位資訊。圖案解析部2104，輸出檢出的定位資訊至描述符產生部22。
其次，說明關於根據本發明的第一實施形態的群集監視裝置10的構成。
第4圖係根據本發明的第一實施形態的群集監視裝置10的構成圖。
如第4圖所示，群集監視裝置10，包括感應資料接收部11、公開資料接收部12、參數導出部13、群眾狀態預測部14、警備計畫導出部15、狀態提示部16、計畫提示部17。
參數導出部13，具有群眾參數導出部131、132、…，13R。
群眾狀態預測部14，具有空間群眾狀態預測部141、時間群眾狀態預測部142。
感應資料接收部11，接收從感應器401,402,…,40p傳送的感應資料。感應資料接收部11，將接收的感應資料輸出至參數導出部13。
公開資料接收部12，經由通訊網路NW2從伺服器裝置501,502,...,50n接收公開的公開資料。公開資料接收部12，輸出接收的公開資料至參數導出部13。
參數導出部13，取得感應資料接收部11輸出的感應資料，根據取得的感應資料，導出表示感應器401,402,…,40p 檢出的群眾狀態特徵量之狀態參數。又，參數導出部13，取得從公開資料接收部12輸出的公開資料的情況下，根據從感應資料接收部11取得的感應資料與從公開資料接收部12取得的公開資料，導出表示感應器401,402,…,40p檢出的群眾狀態特徵量之狀態參數。
參數導出部13的群眾參數導出部131、132、…，13R，分別解析從感應資料接收部11輸出的感應資料或者從公開資料接收部12輸出的公開資料，再導出表示群眾狀態特徵量的R種(R是3以上的整數)狀態參數。又，在此，如第4圖所示，群眾參數導出部131、132、…，13R，是3個以上，但不限於此，群眾參數導出部也可以是1個或2個。參數導出部13，輸出導出的狀態參數至群眾狀態預測部14、警備計畫導出部15及狀態提示部16。
群眾狀態預測部14，根據從參數導出部13輸出的現在或過去的狀態參數，預測群眾狀態。
群眾狀態預測部14的空間群眾狀態預測部141，根據從參數導出部13輸出的狀態參數，預測未設置感應器的區域的群眾狀態。空間群眾狀態預測部141，輸出表示未設置感應器的區域的群眾狀態的預測結果之資料至警備計畫導出部15及狀態提示部16。在此，表示未設置感應器的區域的群眾狀態的預測結果之資料，稱作「空間預測資料」。
群眾狀態預測部14的時間群眾狀態預測部142，根據從參數導出部13輸出的狀態參數，預測未來的群眾狀態。時間群眾狀態預測部142，輸出表示未來的群眾狀態的預測結果的資 料至警備計畫導出部15及狀態提示部16。在此，表示未來的群眾狀態的預測結果之資料，稱作「時間預測資料」。
警備計畫導出部15，根據從參數導出部13輸出的狀態參數以及從群眾狀態預測部14輸出的未來的群眾狀態的資訊，導出警備計畫案。警備計畫導出部15，輸出導出的警備計畫案的資訊至計畫提示部17。
狀態提示部16，根據從參數導出部13輸出的狀態參數以及從群眾狀態預測部14輸出的群眾狀態的資訊，產生以使用者容易了解的格式表現群眾的過去狀態、現在狀態及未來狀態的視覺資料或音響資料。又，現在狀態包含即時變化的狀態。
又，狀態提示部16，傳送產生的視覺資料或音響資料至外部機器71、72，作為影像或聲音輸出。
計畫提示部17，取得從警備計畫導出部15輸出的警備計畫案的資訊，產生以使用者容易了解的格式表現取得的資料的視覺資料或音響資料。
又，計畫提示部17，傳送產生的視覺資料或音響資料至外部機器73、74，作為影像或聲音輸出。
又，在此，群集監視裝置10備置公開資料接收部12，但不限定於此，群集監視裝置10不備置公開資料接收部12也可以。
說明關於動作
首先，說明關於構成此第一實施形態的警備支援系統1的感應器401,402,…,40p經由通訊網路NW1傳送感應資料至群集監視裝置10之動作。
第5圖，係說明第一實施形態中感應器401的動作的流程圖。又，在此，代表感應器401的動作說明，關於感應器402~40p的動作，因為與感應器401的動作相同，省略重複的說明。
拍攝部101，拍攝對象區域，並輸出拍攝的拍攝影像的影像資料至影像處理裝置20的影像解析部21(步驟ST501)。
影像解析部21，實行第1影像解析處理(步驟ST502)。
第6圖係說明第5圖的步驟ST502中的第1影像解析處理的動作的一範例的流程圖。
影像解析部21的解碼部213，取得第5圖的步驟ST501中從拍攝部101輸出的影像資料，依照拍攝部101中使用的壓縮符號化方式，解碼壓縮的影像資料(步驟ST601)。解碼部213，輸出解碼的影像資料作為解碼資料至影像辦識部211。
影像辦識部211的物體檢出部2101，解析從解碼部213取得的解碼資料表示的單數或複數的輸入影像，檢出上述輸入影像中出現的物體(步驟ST602)。具體而言，物體檢出部2101，比較解碼資料表示的輸入影像與圖案記憶部212內記憶的圖案，檢出輸入影像中出現的物體。
在此，作為物體檢出部2101檢出的物體的檢出對象，例如，最好是信號機或標誌等的大小及形狀是已知的物體，或者汽車、腳踏車及行人等在動態影像內以各種樣態的變化出現而其平均比例與已知的平均比例以充分的精度一致的物體。又，檢出對上述物體的畫面的姿勢及深度資訊也可以。物體檢出部 2101，將檢出的物體資訊，隨著解碼部213取得的解碼資料，一起輸出至縮尺推斷部2102、圖案檢出部2103。
影像辦識部211的縮尺推斷部2102，根據在步驟ST602中物體檢出部2101檢出的物體資訊，判定是否檢出物體的空間特徵量的推斷即縮尺資訊的推斷必需的物體(步驟ST603)。又，縮尺資訊的推斷，也稱作「縮尺推斷」。之後敘述關於「縮尺推斷」的細節。
步驟ST603中，判定未檢出縮尺推斷必需的物體時(步驟ST603是”NO”時)，回到步驟ST601。此時，縮尺推斷部2102，對解碼部213輸出解碼指示，解碼部213，一取得上述解碼指示，就從拍攝部101取得新的影像資料，進行影像資料的解碼。
步驟ST603中，判定檢出縮尺推斷必需的物體時(步驟ST603是”YES”時)，縮尺推斷部2102，關於從物體檢出部2101取得的物體，進行縮尺推斷(步驟ST604)。在此，例如，縮尺推斷部2102，作為物體的縮尺資訊，推斷每1畫素的物理比例。
根據物體檢出部2101，檢出物體時，縮尺推斷部2102取得物體檢出部2101檢出的物體資訊，首先，進行取得的物體形狀與圖案記憶部212內記憶的物體形狀之間的對照，在圖案記憶部212內記憶的物體中，特別指定與取得的物體形狀一致的物體。其次，縮尺推斷部2102，關於特別指定的物體，與上述物體加以連結，從圖案記憶部212取得圖案記憶部212內記憶的物理量。
於是，縮尺推斷部2102，根據取得的物理量與解碼資料，推斷物體檢出部2101檢出的物體的縮尺資訊。
具體而言，例如，解碼資料表示的輸入影像中，圓形的標誌以正對感應器401的拍攝裝置的形式映出，上述標誌的直徑在解碼資料表示的影像上，假設相當於100畫素。又，圖案記憶部212內假設記憶上述標誌的直徑0.4m(米)的資訊作為物理量。物體檢出部2101，首先，根據形狀的對照，檢出上述標誌，取得物理量0.4m(米)的值。
縮尺推斷部2102，關於物體檢出部2101檢出的標誌，根據上述標誌相當於輸入影像上100畫素的資訊與圖案記憶部212內記憶的上述標誌的直徑0.4m的資訊，推斷輸入影像上上述標誌的縮尺為0.004m/畫素。
第7圖係顯示第一實施形態中縮尺推斷部2102進行輸入影像上的物體的縮尺推斷的結果的影像的一範例圖。
第7圖中，以解碼資訊顯示的輸入影像上，即拍攝部101拍攝的拍攝影像上，檢出建築物的物體301、302、構造物的物體303、背景的物體304。
建築物的物體301的縮尺資訊，指示被推斷為縮尺推斷部2102產生的縮尺推斷結果，1m/畫素，另外的建築物的物體302的縮尺資訊，被推斷為縮尺推斷部2102產生的縮尺推斷結果，10m/畫素，構造物的物體303的縮尺資訊，被推斷為縮尺推斷部2102產生的縮尺推斷結果，1cm/畫素。又，關於背景的物體304，因為從拍攝部101到背景的距離在實空間中視為無限遠，縮尺推斷部2102指示推斷背景的物體304的縮尺資訊為 無限大。又，關於背景，圖案記憶部212內，只要預先在尺寸資訊中記憶為無限大的資訊即可。
又，例如，物體檢出部2101檢出的物體是汽車或行人等在地面上移動的移動體時，或像欄杆存在地面上且從地面在大致一定的位置上配置的物體時，那種物體存在的區域係上述移動體可移動的區域，而且限制於特定平面上的區域的可能性很高。因此，縮尺推斷部2102，根據其限制條件檢出汽車或行人等移動的平面的同時，根據上述汽車或行人等的物體的物理尺寸的推斷值以及汽車或行人等的平均尺寸的資訊，可以導出到上述平面為止的距離。因此，即使不能推斷輸入影像中出現的全部物體的縮尺資訊時，沒有特別的感應器也可以檢出物體映出的地點區域，或作為取得縮尺資訊的對象重要道路等的區域。
如上述，根據解碼部213、影像辦識部211的物體檢出部2101、縮尺推斷部2102，進行第1影像解析處理。
又，在此，未檢出縮尺推斷必需的物體時(步驟ST603是”NO”時)，回到步驟ST601，重複之後的處理，但不限於此，回到步驟ST601，判定是否檢出縮尺推斷必需的物體(步驟ST603)，判定經過一定時間也沒檢出縮尺推斷必需的物體時，即重複步驟ST601~ST603的處理經過一定時間時，結束第1影像解析處理也可以。
回到第5圖的流程圖。
上述第1影像解析處理(步驟ST502)結束後，影像辦識部211實行第2影像解析處理(步驟ST503)。
在此，第8圖係第5圖的步驟ST503中的第2影 像解析處理的動作的一範例的流程圖。
圖案檢出部2103，從解碼部213取得解碼資料(參照第5圖的步驟ST501)，檢索取得的解碼資料所示的輸入影像，從上述影像檢出編碼圖(步驟ST801)。
圖案檢出部2103，輸出檢出的編碼圖資訊至圖案解析部2104。
圖案解析部2104，根據從圖案檢出部2103取得的編碼圖的資訊，判定是否檢出編碼圖(步驟ST802)。
步驟ST802中，判定沒檢出編碼圖時(步驟ST802是”NO”時)，回到第5圖的步驟ST502。
例如，圖案檢出部2103，在步驟ST801中，不能檢出編碼圖時，輸出沒有編碼圖的資訊至圖案解析部2104。在此情況下，圖案解析部2104判定為沒檢出編碼圖。
步驟ST802中，判定檢出編碼圖時(步驟ST802是”YES”時)，圖案解析部2104，解析從圖案檢出部2103取得的編碼圖資訊，推斷定位資訊(步驟ST803)。圖案解析部2104輸出推斷的定位資訊至描述符產生部22。
第9圖係顯示第一實施形態中圖案解析部2104進行第7圖中例示的輸入影像上的編碼圖(CODE PATTERN)的解析結果的影像的一範例圖。
第9圖中，解碼資料所示的輸入影像上，即，拍攝部101拍攝的拍攝影像上，檢出編碼圖PN1、PN2、PN3。
圖案解析部2104，作為編碼圖PN1、PN2、PN3的解析結果，得到各編碼圖指示的緯度及經度之絕對座標資訊。第9圖 中點狀表示的編碼圖PN1、PN2、PN3係如2次元碼的空間圖案或如光的閃爍圖案的時序圖案，或者這些的組合。圖案解析部2104，解析輸入影像中出現的編碼圖PN1、PN2、PN3，檢出定位資訊。
第10圖係顯示第一實施形態中顯示空間的編碼圖PN×的顯示機器40的一範例圖。第10圖所示的顯示機器40，接收全球導航衛星系統(Global Navigation Satellite System,GNSS)所產生的導航信號，根據此導航信號，定位自己的現在位置，具有在顯示畫面41上顯示指示其定位資訊的編碼圖PNx的機能。藉由物體的近旁配置如此的顯示機器40，如第11圖所示，圖案檢出部2103可以檢出編碼圖，圖案解析部2104根據圖案檢出部2103檢出的編碼圖，可以檢出物體的定位資訊。
又，GNSS所產生的定位資訊，也稱作GNSS資訊。作為GNSS，例如可以利用美國運用的GPS(全球定位系統)、蘇聯運用的GLONASS(全球導航衛星系統)、歐聯運用的Galileo(伽利略)系統或日本運用的準天頂衛星系統。
如上述，由影像辦識部211的圖案檢出部2103、圖案解析部2104，進行第2影像解析處理。
又，在此，判定沒檢出編碼圖時(步驟ST802是”NO”時)，回到第5圖的步驟ST502，重複之後的處理，但不限於此，回到步驟ST502，判定是否檢出編碼圖(步驟ST802)，判定經過一定時間也沒檢出編碼圖時，即重複步驟ST502~ST802的處理經過一定時間時，結束第2影像解析處理也可以。
回到第5圖的流程圖。
上述第2影像解析處理(步驟ST503)結束後，描述符產生部22，產生第1影像處理中呈現縮尺推斷部2102推斷的縮尺資訊的空間描述符(第2圖所示的Dsr)、第2影像處理中呈現圖案解析部2104推斷的定位資訊的地理描述符(第2圖所示的Dsr)(步驟ST504)。於是，描述符產生部22，將產生的描述符資料與拍攝部101拍攝的影像資料加以連結，輸出至資料傳送部102。
資料傳送部102，傳送與描述符產生部22輸出的描述符資料連結的影像資料，至群集監視裝置10。
在此，資料傳送部102傳送至群集監視裝置10的影像資料與描述符資料，收納在群集監視裝置10內，在此之際，最好以可以雙向的高速存取的形式收納。又，描述符產生部22，作成指示影像資料與描述符資料間的對應關係之索引表，輸出上述表至資料傳送部102，資料傳送部102傳送上述表至群集監視裝置10也可以。於是，監視裝置10中，以上述表構成資料庫也可以。例如，描述符產生部22，當授予構成影像資料的特定影像圖框的位置時，為了可高速特別指定對應其位置的描述符資料在資料庫上的記憶位置，可以附加索引資訊。又，也為了其反向的存取容易，作成索引資訊也可以。
影像處理裝置20的控制部(省略圖示)，判定是否繼續處理(步驟ST506)。具體而言，影像處理裝置20的輸入接受部(省略圖示)，判定是否接受影像處理結束的指示。
例如，警備人員等的使用者，在不必監視對象區域、拍攝裝置的開關切斷的情況下等，影像處理裝置20的輸入接受部 接受上述資訊作為影像處理結束的指示。
步驟ST506中，判定為繼續處理時(步驟ST506是”YES”時)，即，輸入接受部還沒接受影像處理結束的指示時，回到步驟ST502，進行之後的處理。
因此，與描述符連結的影像資料往群集監視裝置10的傳送繼續。
步驟ST506中，判定為不繼續處理時(步驟ST506是”NO”時)，即，輸入接收部接受影像處理結束的指示時，結束處理。
在此，關於第5圖的步驟ST504中描述符產生部22產生的空間描述符及地理描述符，舉例詳細說明。
第12及13圖中，第一實施形態中，顯示空間描述符的格式的範例圖。
第12及13圖的範例中，顯示對於分割拍攝部101拍攝的拍攝影像成空間格子狀得到的各柵格之描述符。如第12圖所示，旗標「ScaleInfoPresent」係指示連結檢出的物體的尺寸與上述物體的物理量之縮尺資訊是否存在的旗標。拍攝影像，在空間方向中分割為複數的影像區域即柵格。
「GridNumX」係表示顯示物體的特徵的影像區域特徵存在之柵格在縱方向的個數。「GridNumY」係表示顯示物體的特徵的影像區域特徵存在之柵格在橫方向的個數。「GridRegionFeatureDescriptor(i,j)」係表示各柵格的物體的部分特徵即柵格內特徵的描述符。
第13圖係顯示第12圖所示的描述符 「GridRegionFeatureDescriptor(i,j)」的內容圖。參照第13圖，「ScaleInfoPresentOverride」係柵格別即區域別表示縮尺資訊是否存在的旗標。
「ScalingInfo[i][j]」係表示第(i,j)號的柵格(i係柵格在縱方向的號碼；j係柵格在橫方向的號碼)中存在的縮尺資訊之參數。如此一來，縮尺資訊可以對拍攝影像中出現的物體的各柵格加以定義。又，因為不能取得縮尺資訊，或者，縮尺資訊也存在於不需要縮尺資訊的區域，可以根據「ScaleInfoPresentOverride」的參數指定是否以柵格單位記述。
其次，第14及15圖，係顯示第一實施形態中，GNSS資訊的描述符，即，地理描述符的格式的範例圖。
參照第14圖，「GNSSInfoPresent」係表示作為GNSS資訊定位的位置資訊是否存在的旗標。
「NumGNSSInfo」係表示位置資訊的個數的參數。
「GNSSInfoDescriptor(i)」係第i號的位置資訊的描述符。位置資訊，因為以輸入影像中的點區域定義，位置資訊的個數通過參數「NumGNSSInfo」送出後，只記述其個數部分的GNSS資訊描述符「GNSSInfoDescriptor(i)」。
第15圖係顯示第14圖所示的描述符「GNSSInfoDescriptor(i)」的內容圖。參照第15圖，「GNSSInfoType[i]」係表示第i號的位置資訊的種別的參數。作為位置資訊，可以記述GNSSInfoType[i]=0時的物體位置資訊與GNSSInfoType[i]=1時的物體以外的位置資訊。關於物體的位置資訊，「Object[i]」係用以定義位置資訊的物體的 ID(識別符)。又，關於各物體，記述表示緯度的「GNSSInfo_Latitute[i]」與表示經度的「GNSSInfo_Longitute[i]」。
另一方面，關於物體以外的位置資訊，第15圖所示的「GroundSurfaceID[i]」，係作為GNSS資訊定義定位的位置資訊之假想地平面的ID(識別符)，「GNSSInfoLocInImage_X[i]」係表示定義位置資訊的影像內在橫方向位置的參數，「GNSSInfoLocInImage_Y[i]」係表示定義位置資訊的影像內在縱方向位置的參數。關於各地平面，記述表示緯度的「GNSSInfo_Latitute[i]」與表示經度的「GNSSInfo_Longitute[i]」。位置資訊，係物體被限制於特定的平面時，可以映射映在其畫面上的上述平面至地圖上之資訊。因此，記述GNSS資訊存在的假想地平面的ID。又，對於影像內映出的物體，也可以記述GNSS資訊。這是為了地標等的檢索，假設使用GNSS資訊的用途。
又，第12~15圖所示的描述符的範例，可以對這些追加或削除任意的資訊，以及變更其順序或構成。
如以上的說明，構成第一實施形態的警備支援系統1的感應器401,402,…,40p中，將拍攝影像中出現的物體的空間描述符與影像資料加以連結，可以傳送上述影像資料至群集監視裝置10。群集監視裝置10中，藉由利用空間描述符作為檢索對象，複數的拍攝影像中出現的具有接近空間或時空關係的複數的物體間的映射可以高準確度且低處理負荷進行。因此，例如，複數台的感應器401,402,…,40p即使從不同方向拍 攝同一對象區域時，根據從感應器401,402,…,40p傳送的描述符間的類似度的計算，感應器401,402,…,40p的拍攝影像中出現的複數的物體間的映射也可以高準確度進行。即，從各種方向拍攝的拍攝影像中，怎樣的拍攝影像都可以掌握1個拍攝影像內的複數的物體間的關係。即，可以檢出1個拍攝影像內的複數的物體作為物體群。
又，此第一實施形態中，感應器401,402,…,40p，如上述，拍攝影像中出現的物體的地理描述符也可以與影像資料加以連結，再傳送至群集監視裝置10。群集監視裝置10中，藉由利用空間描述符的同時也利用地理描述符作為檢索對象，複數的拍攝影像中出現的複數的物體間的映射可以以更高的準確度且低處理負荷進行。
因此，感應器401,402,…,40p是拍攝裝置的情況下，由於感應器401,402,…,40p中裝載影像處理裝置20，群集監視裝置10中，例如，可以有效進行特定物體的自動辨識、3次元地圖的作成或影像檢索。
其次，說明關於根據此第一實施形態的群集監視裝置10的動作。
第16圖係說明根據第一實施形態的群集監視裝置10的動作流程圖。
感應資料接收部11，接收從感應器401,402,…,40p分送的感應資料(步驟ST1601)。在此，因為感應器401,402,…,40p係第2圖所示的拍攝裝置，感應資料接收部11取得由拍攝裝置拍攝並與描述符映射的影像資料作為感應資料。感應資料接收 部11輸出接收的感應資料至參數導出部13。
公開資料接收部12，從伺服器裝置501,502,...,50n經由通訊網路NW2接收公開的公開資料(步驟ST1602)。公開資料接收部12，輸出接收的公開資料至參數導出部13。
參數導出部13，取得在步驟ST1601中從感應資料接收部11輸出的感應資料、在步驟ST1602中從公開資料接收部12輸出的公開資料，根據取得的感應資料與公開資料，導出表示感應器401,402,…,40p檢出的群眾的狀態特徵量之狀態參數(步驟ST1603)。在此，感應器401,402,…,40p係如第2圖所示的拍攝裝置，如上述，解析拍攝影像，檢出上述拍攝影像中出現的物體群，傳送表示上述檢出的物體群的空間、地理特徵量的描述符資料至群集監視裝置10。又，此時，附加地也傳送表示視覺特徵量的描述符資料。
關於步驟ST1603的動作，具體而言，參數導出部13的群眾參數導出部131、132、…，13R分別解析從感應資料接收部11輸出的感應資料、從公開資料接收部12輸出的公開資料，導出表示群眾的狀態特徵量之R種(R是3以上的整數)的狀態參數。參數導出部13輸出導出的狀態參數至群眾狀態預測部14、警備計畫導出部15及狀態提示部16。
又，在此，群集監視裝置10包括公開資料接收部12，參數導出部13也使用公開資料接收部12接收的公開資料導出狀態參數，但群集監視裝置10不包括公開資料接收部12也可以。在那情況下，參數導出部13，根據從感應資料接收部11輸出的感應器資料，導出狀態參數。
在此，關於參數導出部13即群眾參數導出部131、132、…，13R導出的狀態參數，詳細說明。
作為狀態參數的種類，例如舉出「群眾區域」、「群眾行動的種類」、「群眾密度」、「群眾的移動方向及速度」、「流量」、「特定人物的抽出結果」及「特定種類人物的抽出結果」。
「群眾區域」，例如係特別指定感應器401,402,…,40p的對象區域內群眾存在的區域之資訊。
如第17圖所示，群眾參數導出部131、132、…，13R，群集拍攝影像內的物體群的動作特徵，根據群集的區域內的動作狀態判定物體群是群眾還是車輛等，特別指定群眾的區域。
又，群眾參數導出部131、132、…，13R，對於判斷為群眾的區域的物體群，特別指定「群眾行動的種類」。作為「群眾行動的種類」，例如舉出群眾往一方向流動的「一方向流」、對向方向的流動是錯開的「對向流」、停在當場的「停滯」。又，「停滯」也可以分類為如表示由於群眾密度過高上述群眾變得不能動的狀態等之「不能控制的停滯」以及由於上述群眾聽從主辦者的指示停下產生的「控制的停滯」之種類。
又，群眾參數導出部131、132、…，13R，對於判斷「群眾行動的種類」為「一方向流」或「對向流」的物體群，算出流量。「流量」，例如，定義為通過既定區域的人數的每單位時間的值乘以上述區域的長度得到的值(單位：人數．m/s)。
「特定人物的抽出結果」係表示感應器401,402,…,40p的對象區域內特定人物是否存在的資訊，以及特定人物存在時，追蹤其特定人物的結果得到的軌跡資訊。這 種資訊，可利用於用以作成表示警備支援系統1全體的感應範圍內探索對象的特定人物是否存在的資訊，例如對於搜尋走失的孩子有用的資訊。
「特定種類人物的抽出結果」，在感應器401,402,…,40p的對象區域內，係表示屬於特定種類的人物是否存在的資訊，以及屬於特定種類的人物存在時，係追蹤其特定人物的結果得到的軌跡資訊。在此，所謂屬於特定種類的人物，例如舉出幼兒、高齡者、輪椅使用者及白手杖使用者等的「特定年齡及性別的人物」、「交通弱勢」及「採取危險行動的人物或集團」。此種資訊，係對於判斷是否需要對上述群眾的特別警備體制有用的資訊。
又，群集監視裝置10包括公開資料接收部12，公開資料接收部12取得公開資訊時，群眾參數導出部131、132、…，13R根據伺服器裝置501,502,...,50n提供的公開資料，也可以導出「主觀的混雜度」、「主觀的舒適性」、「麻煩發生狀況」、「交通資訊」及「氣象資訊」等的狀態參數。
群眾參數導出部131、132、…，13R，根據從單一的感應器得到的感應資料導出如上述的狀態參數也可以，或者藉由統合利用從複數台的感應器得到的複數的感應資料導出也可以。又，利用從複數台的感應器得到的感應資料時，傳送用以導出狀態參數的感應資料之感應器，以同一種類的感應器構成的感應器群也可以，或者，不同種類的感應器混合的感應器群也可以。群眾參數導出部131、132、…，13R，統合利用複數的感應資訊時，比起利用單一的感應資料時，可以期待導 出高精度狀態的參數。
回到第16圖的流程圖。
群眾狀態預測部14，在步驟ST1603中，根據從參數導出部13輸出之現在或過去的狀態參數，預測群眾狀態(步驟ST1604)。
具體而言，空間群眾狀態預測部141，根據從參數導出部13輸出的狀態參數群，預測未設置感應器的區域的群眾狀態，作成「空間預測資料」，輸出至警備計畫導出部15及狀態提示部16。
又，時間群眾狀態預測部142，根據從參數導出部13輸出的狀態參數，預測未來的群眾狀態，作成「時間預測資料」，輸出至警備計畫導出部15及狀態提示部16。
時間群眾狀態預測部142，可以推斷決定未設置感應器的區域的群眾狀態或未來的群眾狀態的各種資訊。例如，可以作成與參數導出部13導出的狀態參數同種的參數的未來值作為「時間預測資料」。又，可以預測什麼程度的未來群眾狀態，根據警備支援系統1的系統要件可以任意定義。同樣地，空間群眾狀態預測部141，關於未設置感應器的區域的群眾狀態，可以算出與參數導出部13導出的狀態參數同種的參數值作為「空間預測資料」。
第18圖係說明第一實施形態中群眾狀態預測部14的時間群眾狀態預測部142，預測未來的群眾狀態，作成「時間預測資料」的方法的一範例圖。
如第18圖所示，行人路徑PATH中的對象區域PT1、PT2、 PT3中分別配置感應器401,402,…,40p中的任一。群眾從對象區域PT1、PT2朝對象區域PT3移動。
參數導出部13，導出各個對象區域PT1、PT2的群眾流量(單位：人數．m/s)，輸出這些流量作為狀態參數值至群眾狀態預測部14。時間群眾狀態預測部142，根據從參數導出部13取得的流量，導出群眾可能朝向對象區域PT3的流量預測值。例如，時刻T1的對象區域PT1、PT2的群眾往第18圖所示的箭頭a方向移動，對象區域PT1、PT2的各流量假設為F。此時，時間群眾狀態預測部142，假設群眾的移動速度今後也不變的群眾舉動模型，而且，從對象區域PT1、PT2到對象區域PT3的群眾移動時間都是t時，預測未來的時刻T+t中的對象區域PT3的流量為2×F。於是，時間群眾狀態預測部142，作成未來的時刻T+t中的對象區域PT3的流量2×F的資料為「時間預測資料」。
回到第16圖的流程圖。
警備計畫導出部15，根據步驟ST1603中從參數導出部13輸出的狀態參數、步驟ST1604中從群眾狀態預測部14輸出的末來群眾狀態資訊，即「時間預測資料」及「空間預測資料」，導出警備計畫案(步驟ST1605)。警備計畫導出部15，輸出導出的警備計畫案的資訊至計畫提示部17。
具體而言，例如，為了預先作成並記憶狀態參數與預測狀態參數的典型型式與對應上述典型型式的警備計畫案的資料庫，警備計畫導出部15利用上述資料庫導出警備計畫案。
例如，警備計畫導出部15，從參數導出部13及群眾狀態預測部14，取得表示某對象區域在「危險狀態」的狀態參數群及預測狀態資料時，資料庫上，映射「危險狀態」的狀態參數與取得的預測狀態資料一致的預測狀態資料之警備計畫案，如果是「提議用以整頓對象區域中的群眾停滯的警備人員的派遣或警備人員的增員」的話，導出用以在「危險狀態」或整頓對象區域中群眾停滯的警備人員的派遣或警備人員的增員之警備計畫案。
此第一實施形態中，「危險狀態」，例如，舉出檢測發現群眾的「未控制的停滯」或「採取危險行動的人物或集團」的狀態或超過「群眾密度」的容許值的狀態。
狀態提示部16，根據步驟ST1603中從參數導出部13輸出的狀態參數、步驟ST1604中從群眾狀態預測部14輸出的末來群眾狀態資訊，即「時間預測資料」及「空間預測資料」，產生以使用者容易了解的群眾過去狀態、現在狀態及未來狀態的格式表現的視覺資料或音響資料(步驟ST1606)。又，在此，以使用者容易了解的格式表現的視覺資料，例如影像及文字資訊，以使用者容易了解的格式表現的音響資料，例如聲音資訊。
狀態提示部16，傳送產生的視覺資料或音響資料至外部機器71、72，從外部機器71、72輸出為影像或聲音。
外部機器71、72，接收從狀態提示部16輸出的視覺資料或音響資料，從輸出部(省略圖示)輸出為影像、文字及聲音。所謂輸出部，例如，顯示器等的顯示裝置或揚聲器等的聲音輸 出裝置等。
第19A、19B圖係說明狀態提示部16產生的視覺資料顯示在外部機器71、72的顯示裝置上的影像的一範例圖。
第19B圖中，顯示表示感應範圍的地圖資訊M4。此地圖資訊M4中，顯示道路網RD與分別感應對象區域AR1、AR2、AR3的感應器SNR1、SNR2、SNR3、監視對象的特定人物PED、上述特定人物的移動軌跡(第19圖上黑箭頭線所示)。
第19A圖中，分別顯示對象區域AR1的影像資訊M1、對象區域AR2的影像資訊M2及對象區域AR3的影像資訊M3。
如第19B圖所示，特定人物PED跨過對象區域AR1、AR2、AR3移動。因此，假設使用者只看到影像資訊M1、M2、M3的話，只要不理解感應器SNR1、SNR2、SNR3的配置，就難以掌握地圖上特定人物PED以怎樣的路徑移動。
於是，狀態提示部16，根據感應器SNR1、SNR2、SNR3的位置資訊，映射影像資訊M1、M2、M3中出現的狀態至第19B圖的地圖資訊M4，產生提示的視覺資料。如此以地圖形式映射對象區域AR1、AR2、AR3的狀態，產生提示的視覺資料，經由使外部機器71、72的顯示裝置顯示，使用者可以直覺理解特定人物PED的移動路徑。
第20A、20B圖係說明狀態提示部16產生的視覺資料顯示在外部機器71、72的顯示裝置上的影像的另一範例圖。
第20B圖中，顯示表示感應範圍的地圖資訊M8。此地圖資訊M8中，顯示道路網與分別感應對象區域AR1、AR2、AR3 的感應器SNR1、SNR2、SNR3、及指示監視對象的群眾密度的濃度分佈資訊。
第20A圖中，分別顯示對象區域AR1中的群眾密度以濃度分佈表示的地圖資訊M5、對象區域AR2中的群眾密度以濃度分佈表示的地圖資訊M6、對象區域AR3中的群眾密度以濃度分佈表示的地圖資訊M7。此範例中，顯示地圖資訊M5、M6、M7所示的影像中的格子內的顏色越明亮密度越高，越暗密度越低。在此情況下，狀態提示部16，也根據感應器SNR1、SNR2、SNR3的位置資訊，映射對象區域AR1、AR2、AR3的感應結果至第20B圖的地圖資訊M8，產生提示的視覺資料。藉此，使用者可以直覺理解群眾密度的分佈。
上述的範例之外，狀態提示部16，例如可以產生狀態參數值的時間推移以圖表形式顯示的視覺資料、「危險狀態」的發生以圖標影像通知的視覺資料、「危險狀態」的發生以警告音通知的音響資料、從伺服器裝置501,502,...,50n取得的公開資料以時間表形式顯示的視覺資料，從外部機器71、72輸出。
又，狀態提示部16，根據群眾狀態預測部14輸出的未來的群眾狀態的時間預測資料，也可以產生表示群眾的未來狀態的視覺資料，輸出至外部機器71、72。
第21圖係說明第一實施形態中狀態提示部16產生的視覺資料顯示在外部機器71、72的顯示裝置上的影像的又另一範例圖。
第21圖顯示影像視窗W1與影像視窗W2並排配置的影像 資訊M10。第21圖上，右側的影像視窗W2中，顯示未來的群眾狀態資訊，作為比左側的影像視窗W1中顯示的資訊時間上較先的群眾狀態。
另一方面，第21圖上，左側的影像視窗W1中，狀態提示部16，顯示根據從參數導出部13輸出的狀態參數產生之表現過去的群眾狀態、現在的群眾狀態的視覺資料。
使用者，通過外部機器71、72GUI(圖形使用者界面)調整滑動器(SLIDER)SLD1的位置，可以在影像視窗W1顯示現在或過去的指定時刻中的群眾狀態。第21圖所示的範例中，因為指定時刻設定為0，影像視窗W1中，即時顯示現在的群眾狀態，且顯示「LIVE」的文字標題。
另一影像視窗W2中，如上述，顯示未來的群眾狀態的資訊。
使用者，通過GUI調整滑動器SLD2的位置，可以在影像視窗W2顯示未來的指定時刻中的群眾狀態。具體而言，例如，外部機器71、72接受來自使用者的滑動器SLD2操作時，狀態提示部16取得上述接受的操作資訊，根據操作資料，作成表示由滑動器SLD2操作指定的時刻中的狀態參數值之視覺資料，使外部機器71、72的顯示裝置顯示。第21圖所示的範例中，因為指定時刻設定為10分鐘後，影像視窗W2中，指示10分鐘後的狀態，顯示「PREDICTION」的文字標題。即，狀態提示部16，作成並顯示表示10分鐘後的狀態參數值之視覺資料。又，影像視窗W1、W2中顯示的狀態參數的種類及顯示格式，互為相同。
以此方式，狀態提示部16，根據從參數導出部13輸出的狀態參數與從群眾狀態預測部14輸出的未來的群眾狀態的資訊，產生表示過去的群眾狀態、現在的群眾狀態及未來的群眾狀態之視覺資料，因為使外部機器71、72顯示，使用者藉由確認外部機器71、72的顯示裝置上顯示的資訊，可以直覺理解現在狀態變化的情況。
又，第21圖中，影像視窗W1與影像視窗W2，顯示形成分別視窗的範例，但不限於此，統合影像視窗W1、W2，構成單一的影像視窗，狀態提示部16使此單一影像視窗內，顯示表示過去、現在或未來的狀態參數值之視覺資料也可以。在此情況下，最好構成狀態提示部16為使用者藉由以滑動器轉換指定的時刻，使用者可以確認上述指定時刻中的狀態參數值。具體而言，例如，外部機器71、72接受來自使用者的時刻指定時，狀態提示部16取得上述接受的資訊，作成表示指定時刻中的狀態參數值之視覺資料，使外部機器71、72的顯示裝置顯示。
回到第16圖的流程圖。
計畫提示部17，在步驟ST1605取得從警備計畫導出部15輸出的警備計畫案的資訊，產生以使用者容易了解的格式呈現取得的資訊之視覺資料或音響資料(步驟ST1607)。又，所謂以使用者容易了解的格式呈現的視覺資料，例如影像及文字資訊，以使用者容易了解的格式呈現的音響資料，例如聲音資訊。
又，計畫提示部17，傳送產生的視覺資料或音響資料至外部機器73、74，輸出為影像或聲音。
外部機器73、74，接收從計畫提示部17輸出的視覺資料或音響資料，作為影像、文字及聲音，從輸出部(省略圖示)輸出。所謂輸出部，例如顯示器等的顯示裝置或揚聲器等的聲音輸出裝置等。
作為警備計畫的提示方法，例如，可以採取對於全部使用者提示相同內容的警備計畫的方法、對特定對象區域的使用者提示對象區域個別的警備計畫的方法、或對每個人提示個別的警備計畫的方法。
即，計畫提示部17，使取得的警備計畫案的資訊原封不動輸出至全部外部機器73、74也可以，例如每一外部機器73、74預先設定作為輸出對象的警備計畫案的種類，計畫提示部17，根據上述預先設定的種類，控制使取得的警備計畫案的資訊輸出的外部機器73、74也可以。又，例如，預先設定擁有外部機器73、74的使用者ID、提供給上述使用者的警備計畫，計畫提示部17根據上述預先設定的資訊，控制使取得的警備計畫案的資訊輸出的外部機器73、74也可以。
又，計畫提示部17，呈現警備計畫案的視覺資料等輸出至外部機器73、74之際，為了可以即時辨識對使用者的提示，例如，從外部機器73、74輸出聲音，或者，外部機器73、74是行動終端等可搬運的機器的話，藉由振動，最好合併產生能主動通知使用者的音響資料等。
如上述，群集監視裝置10根據從作為感應器401,402,…,40p的拍攝裝置取得的影像資訊預測的狀態為基礎，將指示過去、現在及未來的群眾狀態的資訊與適當的警備 計畫作為對警備支援有用的資訊輸出至外部機器70。
又，以上的說明中，警備計畫導出部15，導出警備計畫案，但不限於此，例如狀態提示部16，使用者的警備計畫擔任者可以確認輸出至外部機器71、72之呈現過去的群眾狀態、現在的群眾狀態及未來的群眾狀態的視覺資訊或音響資料時，警備計畫擔任者，根據輸出至外部機器71、72的資訊，也可以親自作成警備計畫案。
又，以上的說明中，依步驟ST1601、步驟ST1602的順序進行處理，但不限於此，步驟ST1601與步驟ST1602的處理以相反順序進行也可以，同時進行也可以。
又，以上的說明中，依步驟ST1604、步驟ST1605的順序進行處理，但不限於此，步驟ST1604與步驟ST1605的處理以相反順序進行也可以，同時進行也可以。
又，以上的說明中，依步驟ST1606、步驟ST1607的順序進行處理，但不限於此，步驟ST1606與步驟ST1607的處理以相反順序進行也可以，同時進行也可以。
第22A、22B圖係顯示根據本發明的第一實施形態的群集監視裝置10的硬體構成的一範例圖。
此發明的第一實施形態中，參數導出部13、群眾狀態預測部14、警備計畫導出部15、狀態提示部16、計畫提示部17的各機能，以處理電路2201實現。即，群集監視裝置10，包括處理電路2201，根據接收的感應資料與公開資料，預測對象區域的群眾狀態，用以進行控制使預測狀態輸出的資料或根據預測狀態的警備計畫的資料作成。
處理電路2201，如第22A圖所示，是專用的硬體也可以，如第22B圖所示，是實行收納在記憶體2204內的程式的CPU(中央處理單元)2206也可以。
處理電路2201是專用的硬體時，處理電路2201，例如是單一電路、複合電路、程式化的處理器、並聯程式化處理器、ASIC(特殊應用積體電路)、FPGA(現場可程式閘陣列)或這些的組合適用。
處理電路2201是CPU2205時，參數導出部13、群眾狀態預測部14、警備計畫導出部15、狀態提示部16、計畫提示部17的各機能以軟體、韌體、或軟體與韌體的組合實現。即，參數導出部13、群眾狀態預測部14、警備計畫導出部15、狀態提示部16、計畫提示部17係以實行HDD(硬碟機)2202、記憶體2204等記憶的程式之CPU2205、系統LSI(大型積體)等的處理電路實現。又，實行HDD2202、記憶體2204等記憶的程式也可以說是使電腦實行參數導出部13、群眾狀態預測部14、警備計畫導出部15、狀態提示部16、計畫提示部17的程序、方法。在此，所謂記憶體2204，例如RAM(隨機存取記憶體)、ROM(唯讀記憶體)、快閃記憶體、EPROM(可抹除可程式化唯讀記憶體)、EEPROM(電可抹除可程式化唯讀記憶體)等的非揮發性或揮發性的半導體記憶體、磁碟、軟碟、光碟(Optical disk)、壓縮光碟(compact disk)、迷你光碟(MiniDisc)、DVD(數位化多功能光碟)等適用。
又，關於參數導出部13、群眾狀態預測部14、警備計畫導出部15、狀態提示部16、計畫提示部17的各機能， 一部分以專用的硬體實現，一部分以軟體或韌體實現也可以。例如，關於參數導出部13以作為專用的硬體的處理電路2201實現其機能，關於群眾狀態預測部14、警備計畫導出部15、狀態提示部16、計畫提示部17，經由處理電路讀出記憶體2204內收納的程式並實行，可以實現其機能。
公開資料接收部12、感應資料接收部11，係進行與感應器401,402,…,40p、伺服器裝置501,502,...,50n等的外部機械通訊的輸入界面裝置2203。
第23A、23B圖係顯示根據本發明的第一實施形態的影像處理裝置20的硬體構成的一範例圖。
此發明的第一實施形態中，影像解析部21與描述符產生部22的各機能以處理電路2301實現。即，影像處理裝置20，包括處理電路2301，取得拍攝裝置拍攝的影像資料，解析上述影像資料，用以進行產生描述符的作成控制。
處理電路2301，如第23A圖所示，是專用的硬體也可以，如第23B圖所示，是實行記憶體2303內收納的程式之CPU(中央處理單元)2306也可以。
處理電路2301是專用的硬體時，處理電路2301例如是單一電路、複合電路、程式化的處理器、並聯程式化處理器、ASIC(特殊應用積體電路)、FPGA(現場可程式閘陣列)或這些的組合適用。
處理電路2301是CPU2304時，影像解析部21與描述符產生部22的各機能以軟體、韌體、或軟體與韌體的組合實現。即，影像解析部21與描述符產生部22係以實行 HDD(硬碟機)2302、記憶體2303等記憶的程式之CPU2304、系統LSI(大型積體)等的處理電路實現。又，實行HDD2302、記憶體203等記憶的程式也可以說是使電腦實行影像解析部21與描述符產生部22的程序、方法。在此，所謂記憶體2204，例如RAM(隨機存取記憶體)、ROM(唯讀記憶體)、快閃記憶體、EPROM(可抹除可程式化唯讀記憶體)、EEPROM(電可抹除可程式化唯讀記憶體)等的非揮發性或揮發性的半導體記憶體、磁碟、軟碟、光碟(Optical disk)、壓縮光碟(compact disk)、迷你光碟(MiniDisc)、DVD(數位化多功能光碟)等適用。
又，關於影像解析部21與描述符產生部22的各機能，一部分以專用的硬體實現，一部分以軟體或韌體實現也可以。例如，關於影像解析部21以作為專用硬體的處理電路2301實現其機能，關於描述符產生部22，處理電路藉由讀出記憶體2303內收納的程式並實行，可以實現其機能。
又，影像處理裝置20，包括接受拍攝影像的輸入界面裝置、以及輸出描述符資訊的輸出界面裝置。
又，此第一實施形態的警備支援系統1中，參數導出部13、群眾狀態預測部14、警備計畫導出部15、狀態提示部16及計畫提示部17，如第4圖所示，包含在單一的群集監視裝置10內，但不限定於此。分散配置參數導出部13、群眾狀態預測部14、警備計畫導出部15、狀態提示部16及計畫提示部17在複數的裝置內，構成警備支援系統也可以。在此情況下，這些複數的機能方塊，只要通過有線LAN或無線LAN等的場內通訊網、連結據點間的專用線路網或網際網路等的廣 域通訊網互相連接即可。
又，此第一實施形態的警備支援系統1中，感應器401,402,…,40p的感應範圍的位置資訊很重要。例如，輸入群眾狀態預測部14的流量等的狀態參數，根據哪個位置取得很重要。又，狀態提示部16中，進行映射至如第20A、20B及21圖所示的地圖上的情況下，狀態參數的位置資訊也是必要的。
又，此第一實施形態的警備支援系統1中，根據大規模活動的舉辦，假設暫時且短期間之中構成的情況。在此情況下，在短期間之中設置大量的感應器401,402,…,40p，而且必須取得感應範圍的位置資訊。因此，最好容易取得感應範圍的位置資訊。
作為容易取得感應範圍的位置資訊的手段，產生影像處理裝置20。可以使用經由資料傳送部102傳送的空間及地理描述符。如果是光學攝影機或立體攝影機等可以取得影像的感應器的情況下，因為使用上述感應器內裝載的影像處理裝置20產生的空間及地理描述符，可以輕易導出感應結果對應地圖上的哪個位置。例如，根據第15圖所示的參數「GNSSInfoDescriptor」，某攝影機的取得影像中，屬於同一假想平面的最低4點的空間位置與地理位置之間的關係為已知時，藉由實行投影轉換，可以導出上述假想平面的各位置對應地圖上的哪個位置。
如上述，根據此第一實施形態，人群流動的履歷不必事前資料庫化，依據包含從單數或複數的對象區域內分散 配置的感應器401,402,…,40p取得的描述符之感應資料，可以輕易掌握及預測上述對象區域內的群眾狀態。
又，根據掌握及預測的群眾狀態，以使用者容易理解的形態加工，導出指示過去、現在及未來的群眾狀態的資訊與適當的警備計畫，這些資訊及警備計畫作為對警備支援有用的資訊，可以提示使用者的警備擔任者或群眾。
[第二實施形態]
第一實施形態中，影像處理裝置20，裝載在感應器401,402,…,40p內。即，影像處理裝置20備置於群集監視裝置10的外部。
第二實施形態中，說明關於群集監視裝置10a包括影像處理裝置20之實施形態。
又，第二實施形態中，也與第一實施形態相同，例如，應用群集監視裝置10a於警備支援系統1。
又，此第二實施形態的警備支援系統1中，也與第一實施形態相同，例如群集監視裝置10a，根據從作為感應器401,402,…,40p的拍攝裝置取得的影像資料預測的群眾狀態，提示使用者指示現在、過去及未來的群眾狀態的資訊與適當的警備計畫作為對警備支援有用的資訊。
包括此第二實施形態的群集監視裝置10a的警備支援系統1的構成，因為與第一實施形態中使用第1圖說明的構成相同，省略重複的說明。此第二實施形態的警備支援系統1的構成，只有群集監視裝置10換成群集監視裝置10a的點相異。
第24圖係根據本發明的第二實施形態的群集監視裝置10a的構成圖。
第24圖所示的群集監視裝置10a，與第一實施形態中使用第4圖說明的群集監視裝置10，只有裝載影像處理裝置20的點與感應資料接收部11a的動作不同，因為其他的構成與第一實施形態的群集監視裝置10相同，相同的構成附上相同的符號省略重複的說明。
感應資料接收部11a，除了具有與第一實施形態的感應資料接收部11相同的機能之外，還有感應器401,402,…,40p傳送的感應資料中有包含拍攝影像的感應資料時，抽出上述拍攝影像輸出至影像處理裝置20的影像解析部21。
在此，以感應器401,402,…,40p作為拍攝裝置為例，與第一實施形態中說明相同，感應器401,402,…,40p，例如可以使用光學攝影機、雷射測距感應器、超音波測距感應器、集音麥克風、熱感攝影機、夜視攝影機、立體攝影機、定位計、加速度感應器、生命感應器等各式各樣種類的感應器。在此，第二實施形態中，感應資料接收部11a，從拍攝裝置與包含拍攝裝置以外的感應器的各式各樣種類的感應器取得感應資料時，具有特別指定從拍攝裝置傳送的感應資料，並輸出拍攝影像至影像解析部21的機能。
根據此第二實施形態的群集監視裝置10a的公開資料接收部12、參數導出部13、群眾狀態預測部14、警備計畫導出部15、狀態提示部16、計畫提示部17的動作，因為與 第一實施形態說明的群集監視裝置10的公開資料接收部12、參數導出部13、群眾狀態預測部14、警備計畫導出部15、狀態提示部16、計畫提示部17的動作相同，省略重複的說明。
群集監視裝置10a裝載的影像處理裝置20的構成，因為與第一實施形態中使用第2、3圖說明的構成相同，省略重複的說明。
影像處理裝置20的動作，與第一實施形態中說明的影像處理裝置20的動作相同。即，此第二實施形態中，影像解析部21，從感應資料接收部11a取得拍攝影像進行拍攝影像的解析，描述符產生部22，產生空間描述符及地理描述符、以及根據MPEG規格產生已知的描述符，輸出指示這些描述符的描述符資料(第24圖中以Dsr表示)至參數導出部13。參數導出部13，根據影像處理裝置20的描述符產生部22產生的描述符資料，產生狀態參數。
根據此第二實施形態的群集監視裝置10a的硬體構成，因為與第一實施形態中以第22A、22B圖說明的構成相同，省略重複的說明。又，感應資料接收部11a具有與參數導出部13、群眾狀態預測部14、警備計畫導出部15、狀態提示部16、計畫提示部17相同的硬體構成。
此第二實施形態的影像處理裝置20的硬體構成，因為與第一實施形態中以以第23A、23B圖說明的構成相同，省略重複的說明。
如上述，根據此第二實施形態，與第一實施形態相同，人群流動履歷，不必事前資料庫化，依據包含從單數或 複數的對象區域內分散配置的感應器401,402,…,40p取得的描述符資料之感應資料、以及從通訊網路NW2上的伺服器裝置501,502,...,50n取得的公開資料，可以輕易掌握及預測上述對象區域內的群眾狀態。
又，根據掌握及預測的群眾狀態，以使用者容易理解的形態加工，導出指示過去、現在及未來的群眾狀態的資訊與適當的警備計畫，這些資訊及警備計畫作為對警備支援有用的資訊，可以提示使用者的警備擔任者或群眾。
[第三實施形態]
第一實施形態中，以群眾狀態預測部14的時間群眾狀態預測部142預測「流量」的方法為例，說明時間群眾狀態預測部142，根據移動源的對象區域的群眾流量假定群眾舉動模型，算出未來的移動源的對象區域的流量的方法(參照第18圖等)。
此第三實施形態中，說明關於時間群眾狀態預測部142算出未來的流量的其他方法。
包括根據第三實施形態的群集監視裝置10的警備支援系統1、群集監視裝置10及群集監視裝置10的硬體構成，因為分別與第一實施形態中利用第1、4、22圖說明的構成相同，省略重複的說明。
又，根據此第三實施形態的群集監視裝置10的感應資料接收部11、公開資料接收部12、群眾狀態預測部14、警備計畫導出部15、狀態提示部16及計畫提示部17的動作，因為與第一實施形態中說明的群集監視裝置10的感應資料接收部 11、公開資料接收部12、群眾狀態預測部14、警備計畫導出部15、狀態提示部16及計畫提示部17的動作相同，省略重複的說明。
此第三實施形態中，因為只有顯示參數導出部13的時間群眾狀態預測部142以第一實施形態中說明的「流量」的預測方法之外的方法預測「流量」的範例，只說明關於不同於第一實施形態例示的時間群眾狀態預測部142的動作的一範例。
此第三實施形態中，參數導出部13導出「流量」作為指示感應器401,402,…,40p檢出的群眾的狀態特徵量之狀態參數的情況下(參照第一實施形態中的第16圖的步驟ST1603)，對感應器401,402,…,40p的對象區域內存在的群眾區域抽出的「群眾行動的種類」是「一方向流」或「對向流」時，高精度高速算出群眾的「流量」。
第25圖，說明第三實施形態中時間群眾狀態預測部142檢測「群眾行動的種類」為「對向流」的群眾移動方向分為2方向的一範例圖。
此第三實施形態中，對向的移動方向分別是「IN」[OUT]。又，哪個為「IN」或「OUT」都可以。第25圖中，往遠離作為感應器的拍攝裝置的方向，即第25圖上，往右側移動的群眾的移動方向為「IN」。
利用第25圖，說明關於算出檢測為「對向流」的群眾例如是「IN」方向的流量之方法。
「流量」如第一實施形態中定義，根據通過既定 區域的人數算出。
一般而言，眾所周知某空間內的群眾密度在某一定以上的混雜狀況下，每個人的自由步行受限制，因為不能超越前面的人，空間內的密度是均勻的。此第三實施形態中，時間群眾狀態預測部142，藉由使用此性質，算出對於檢測為「對向流」的群眾區域的一部分區域的通過人數，可以高精度推斷檢測為「對向流」的區域全體的通過人數。
時間群眾狀態預測部142，如第26圖所示，設定算出通過人數的區域為流量算出區域(第26圖的x)。流量算出區域，係設定在地面上矩形區域。上述矩形的縱方向的直線，例如與通過檢測為「IN」方向的群眾區域的重心(第26圖的G)之群眾的移動方向的直線直交。
以下，此第三實施形態中，說明關於時間群眾狀態預測部142算出「流量」的具體方法。
作為算出拍攝影像內的流量算出區域的「IN」方向的流量的方法，對流量算出區域內的各畫素算出光流，計算具有流量算出區域內的既定線往「IN」方向移動的流量的畫素數，作為意味往「IN」方向移動的人物的區域的畫素數。
第27圖係顯示第三實施形態中拍攝影像內的流量算出區域與流量算出區域內的既定線的影像的一範例圖。
第28圖係說明第三實施形態中，作為具有既定線往「IN」方向移動的流量計算的畫素數與群眾密度之間的關係的一範例圖。
例如，如第29A圖所示，群眾密度低時，因為在拍攝影像 內人物之間不重疊的狀態下拍攝，計算的畫素數與密度，如第28圖的區間(a)所示，大致成為比例關係。又，拍攝影像內人物之間的重疊稱作堵塞。
另一方面，隨著群眾密度增加，如第29B圖所示，因為拍攝影像內人物之間發生重疊，計算的畫素數的變化率漸漸減少，幾乎為0。又隨著密度的增加，因為群眾的移動速度漸漸下降，計算的畫素數的變化率成為負值。(參照第28(b)圖)
於是，時間群眾狀態預測部142，在某圖框間，藉由計算具有跨過流量算出區域內的既定線往「IN」方向移動的流量之畫素數除以考慮堵塞的人物每人的畫素數的值，算出上述圖框間往「IN」方向移動的人數，另外是每時間單位往「IN」方向移動的人數，即往「IN」方向的群集流量。在此考慮堵塞的群集每人的畫素數，係藉由對假設不堵塞時的人物每人的畫素數乘以考慮堵塞的係數而算出。
第30圖中，係顯示計算的畫素數除以每人的畫素數的值即假設不堵塞時往「IN」方向移動的人數與「IN」方向流量的關係的一範例。
第30圖中，a係計算的畫素數除以每人的畫素數的值，b表示流量。
又，時間群眾狀態預測部142，關於「OUT」方向的流量也同樣可以算出。又，時間群眾狀態預測部142，在檢測為「對向流」的群眾移動方向即使是3方向以上的情況下對各方向也應用上述手法，依方向別可以算出流量。
又，此第三實施形態中，說明時間群眾狀態預測 部142對檢測為「對向流」的群眾移動方向別的「流量」的算出方法，但對於「一方向流」也可以以同樣的手法算出。
以下，顯示關於時間群眾狀態預測部142算出「流量」的具體計算手段的範例。
第31圖，係每1枚影像圖框實行的群集流量算出處理的處理流程。
首先，時間群眾狀態預測部142，修正輸入的影像(步驟ST1)。此修正中，包含只切出處理對象區域的處理、用以高精度實施後段的光流推斷處理的影像亮度值．對比等的修正、解除影像的投影變形之投影轉換或解除其他變形之幾何轉換等。
其次，時間群眾狀態預測部142，使用眼前的影像圖框與處理對象的影像圖框，導出意味2枚圖框間的影像內物體的移動之光流(步驟ST2)。在畫素單位中取得光流。又，光流，只要取得預先設定為流量解析位置的既定線的周邊即可。
又，畫素單位中取得的光流，意味出現群集的前景區域與其區域的移動量。於是，本步驟的處理，替換為根據背景減除或圖框間差異等的處理的前景抽出手法以及上述前景區域的移動量任意移動推斷手法要求的處理也可以。又，作為移動推斷手法，不是利用影像解析的手法也可以。例如輸入影像是以MPEG-2、H.264/AVC及HEVC等的混合符號化方式壓縮時，其壓縮串流內包含的移動向量資訊維持原狀或加工利用，藉此進行移動推斷也可以。之後以利用根據光流導出畫素單位的流量之處理為前提說明。
其次，時間群眾狀態預測部142，計算具有跨過既 定線的流量之畫素(步驟ST3)。分別個別計算往「IN」方向跨過的畫素數PnIN及往「OUT」方向跨過的畫素數PnOUT。
其次，時間群眾狀態預測部142，導出不具有跨過既定線周邊的既定線的流量之畫素數PnG(步驟ST4)。具有跨過上述既定線的流量之畫素意味人物區域的畫素，不具有跨過既定線的流量之畫素意味背景區域的畫素。跨過既定線的流量(「IN」方向及「OUT」方向)之直交既定線的成份的標準長平均為N[pixel]，既定線的長度為L[pixel]時，可以以(1)式計算。
P nG =N * L-(P nIN +P nOUT ) (1)
其次，時間群眾狀態預測部142，根據以PnIN、PnOUT、PnG計算之既定線近旁區域中的人物區域的比例OF[%]，推斷群集密度D[人/m2(平方公尺)](步驟ST5)。OF[%]由以下的公式計算。
O F ={(P nIN +P nOUT )/(P nIN +P nOUT +P nG )}*100 (2)
在此之際，PnIN、PnOUT、PnG的值先記錄以過去複數圖框取得之值，根據分別的累計求出OF[%]，推斷更穩定且高精度的群集密度D也可以。OF與D的關係式預先取得。之後敘述關於OF與D的關係式。
其次，時間群眾狀態預測部142，根據群集密度D[人/m2]與縮尺資訊S[pixel/m]，導出人物每人的畫素數PPED(步驟ST6)。D與PPED的關係式預先取得。之後敘述關於D與S與PPED的關係式。
最後，時間群眾狀態預測部142，以PPED除PnIN、PnOUT，依「IN」方向、「OUT」方向別導出上述圖框中的既定 線的通過人數(步驟ST7)。時間群眾狀態預測部142，根據圖框間的經過時間的資訊，取得每單位時間的通過人數即群集流量的參數。
根據以上的處理，能夠依「IN」、「OUT」方向別取得通過既定線的群集的流量。
以下，詳細說明關於上述OF與D的關係式。
群集的密度越高，能看到位於群集後方的背景區域的比例越少。於是，預料OF即某區域中的前景區域所佔的比例，當群集密度D越高，就越大。
但是，群集在攝影機影像中如何映出，因為依群集每人的形狀．尺寸．攝影機的俯角及群集對攝影機如何配置而不同，必須預先特別指定這些的資訊。
各個資訊，如下定義。
首先群集每人的形狀．尺寸使用人物的平均模型。例如，根據成人的平均身高h與平均最大半徑r，定義為高度h、半徑r的圓柱形也可以，或者以除此以外的簡易形狀近似表現也可以。或者使用更嚴格平均尺寸的人物的3D模型也可以。又，因為考慮群集的形狀、尺寸依對應成為對象的群集的國籍．年齡層或觀測時的天候．氣候的服裝變化等不同，或是具有複數的模型，或可以改變使模型的尺寸．形狀變化的參數，根據狀況進行模型的選擇或調整也可以。
攝影機的俯角θ，在固定攝影機的情況下，設置時可以使用預先測量值。或者，藉由解析拍攝的影像導出也可以。後者的情況，具有即使是移動攝影機時也可以適應的優點。
關於對群集的攝影機的配置方式，因為群集之間的位置關係有各式各樣型式存在，使用既定的模型。
例如，作為群集的位置關係的模型，假設如第32圖所示人物格子狀排列的狀態。人物具有如上述決定的形狀．尺寸，在範例中，近似高度h[m]、半徑r[m]的圓柱。又第32圖，係從俯角θ的位置的攝影機，在格子從攝影機光軸方向只傾斜ω的狀態下看格子狀排列4人的人物的圖。在此情況下，對於群集密度D[人/m2]，往縱或橫方向排列的人物的中心間的距離設置d[m]時，D與d有以下的關係。
Figure TW201802764AD00001
又對某一人成為最近旁的區域，係上述人物為中心的d×d的正方區域，以此區域為人物每人的區域RP。
定義如上，而且以OF為本格子狀模型中，存在於離攝影機的深側，且對於人物每人的區域RP的面積之RG內的前景區域RF(RP內以黑色表示的區域)的面積。又，比較第33、34圖可明白，由於對於此格子狀模型的攝影機光軸方向的傾斜ω，因為前景區域RF的視覺功效、面積變動，對於各種ω計算OF，取其平均，但最好以百分率表現為最後的OF。
根據此模型，對於密度D與攝影機俯角θ，單一決定OF。除了攝影機俯角θ，藉由求出密度D與前景區域面積比OF的關係，根據給予的攝影機俯角θ與計算的OF能夠推斷群集密度D。
其次，詳細說明關於上述D與PPED的關係。
比例資料S為一定時，群集密度越高，群集內的某人物每人畫素數PPED越小。原因是，密度越高群集間的距離越小，攝影機深側的人物隱藏在眼前的人物的比例越高。
求出D與PPED的關係式的情況，也與上述求出OF與D的關係式的情況相同，群集每人的形狀．尺寸、攝影機的俯角、單位長度的物體在攝影機影像內的畫素數(縮尺資訊)以及對於群集的攝影機的配置狀態的資訊是必需的。這些資訊與求出上述OF與D的關係式之際使用的定義相同。
又，除了這些資訊之外，與上述相同，指示作為對應攝影機影像內的1畫素的物理量的長度之縮尺資訊是必需的。
縮尺資訊，根據人物離攝影機的距離、攝影機的視角、攝影機的解析度、攝影機的鏡頭歪斜等，依人物在攝影機影像內哪個位置映出而變動。縮尺資訊，以第一實施形態中所示的手段導出也可以，藉由測量意味攝影機的鏡頭歪斜的內部參數以及意味攝影機與周邊地形的距離或位置關係之外部參數導出也可以。又，如第35圖所示，使用者手動指定用以平面近似測量對象區域的路面的參數，藉此求出也可以。圖的範例中，指定影像座標與物理座標組Point1~4，藉由進行利用此4點的投影轉換，可以替換影像內的任意座標為通過上述4點的平面上的物理座標。或者，檢出影像內映出的人物或物理尺寸是已知的物體，根據其物體的影像內的畫素數自動推斷縮尺資訊也可以。或者，離攝影機越遠方的物體，因為影像內的時間單位的移動量越小，根據假設保持同樣速度的複數的影像內物體 的流量的大小關係，推斷這些物體離攝影機的距離，進行縮尺資訊的推斷也可以。假設的同樣速度是已知的情況下可推斷絕對的縮尺資訊，非已知的情況下可以推斷每物體的相對縮尺資訊。高密度的群集，因為具有涉及廣範圍移動速度固定的特徵，可以根據此集體高精度推斷縮尺資訊。
此模型中，如第36圖所示，攝影機深側被眼前的人物隱藏的人物區域(第35圖的網點區域)為RFO時，例如縮尺資訊S是S0[m/pixel]時的RFO的畫素數為RPED。又根據對此格子狀模型的攝影機光軸方向傾斜ω，由於RFO的視覺功效、面積變動，對各種ω計算RPED，最好取其平均作為最後的RPED。
根據此模型，對密度D與攝影機俯角θ，單一決定RPED。除了攝影機俯角θ，藉由求出密度D與RPED的關係，根據給予的攝影機俯角θ與推斷的D，能夠導出考慮堵塞的人物每人的畫素數RPED[pixel]。又因為此RPED是縮尺資訊S0的情況，使用實際的縮尺資訊S與S0的比，藉由修正RPED，計算流量。
如上述，根據此第三實施形態，參數導出部13可以高精度高速算出群眾的「流量」。
以上的第一~三實施形態說明的影像處理裝置20中，描述符產生部22，產生空間或地理描述符後，上述描述符的資訊，經由輸出界面裝置，例如資料傳送部102或參數導出部13等輸出至外部機器，但不限於此，影像處理裝置20，也可以先積累描述符產生部22產生的描述符的資訊。
第37圖係說明影像處理裝置20能夠先積累描述符資訊的構成的一範例圖。
如第37圖所示，影像處理裝置20a，除了第一實施形態中使用第2圖說明的構成之外，更包括資料記錄控制部31、儲存器32、DB(資料庫)界面部33。
資料記錄控制部31，將經由輸入界面裝置從作為拍攝裝置的感應器取得的影像資料與描述符產生部22產生的描述符資料互相連結，收納在儲存器32內。
儲存器32連結影像資料與描述符資料再收納。
作為儲存器32，例如，只要使用HDD或快閃記憶體等的大容量記錄媒體即可。
又，儲存器32，具有積累影像資料的第1資料記錄部321、積累描述符資料的第2資料記錄部322。又，第37圖中，第1資料記錄部321與第2資料記錄部322設置在同一儲存器32內，但不限定於此，分別分散設置在不同的儲存器內也可以。
又，第37圖中，儲存器32備置於影像處理裝置20a，但不限定於此。例如，儲存器32作為通訊網路上配置的單數或複數的網路．儲存裝置，資料記錄控制部31，存取外部的網路．儲存裝置，積累影像資料與描述符資料也可以。
DB界面部33，存取儲存器32內的資料庫。
影像處理裝置20a，將DB界面部33存取儲存器32取得的描述符的資訊，經由輸出界面，輸出至例如資料傳送部102或參數導出部13等的外部機器。
又，以上第一~三實施形態的警備支援系統1，以群眾的物體群作為感應對象而構成，但不限定於此。例如，以野生動物或昆蟲等的生命體或車輛等人體以外的移動體的群 體作為感應對象的物體群也可以。
又，以上第一~三實施形態中，例如，作為應用群集監視裝置10的群眾監視系統，舉警備支援系統1為例，基於應用群集監視裝置10根據從感應器401,402,…,40p取得的感應資料預測的狀態，提示使用者指示群眾狀態的資訊與適當的警備計畫作為對警備支援有用的資訊，但應用群集監視裝置10的群眾監視系統不限定於警備支援系統1。
例如，群集監視裝置10，應用於調查車站使用者數的系統，從車站內設置的感應器取得感應資料，預測使用車站的人的狀態，提供關於上述預測的狀態之資訊也可以，群集監視裝置10，根據感應資料群，可以利用於監視、預測移動體的狀態的所有場面。
又，第一實施形態中，群集監視裝置10，如第4圖所示構成，但群集監視裝置10、10a，由於包括參數導出部13、群眾狀態預測部14，可以得到如上述的效果。
又，第二實施形態中，群集監視裝置10a，如第24圖所示構成，但群集監視裝置10a，由於包括物體檢出部2101、縮尺推斷部2102、參數導出部13、群眾狀態預測部14，可以得到如上述的效果。
又，本申請發明在其發明範圍內，各實施形態自由組合，或各實施形態的任意構成要素的變形或各實施形態中任意的構成要素的省略是可能的。
產業上的利用可能性
根據本發明的群集監視裝置，在不能預先掌握混 雜度或群集流動的環境中，因為構成為可以推斷混雜度或群集流動，可以應用於預測群集流動的群集監視裝置以及群眾監視系統等。
10‧‧‧群集監視裝置
20‧‧‧影像處理裝置
21‧‧‧影像解析部
22‧‧‧描述符產生部
101‧‧‧拍攝部
102‧‧‧資料傳送部
401‧‧‧感應器

Claims (12)

  1. 一種群集監視裝置，包括：參數導出部，導出狀態參數，根據顯示感應器檢出的物體群並給予以實空間為基準的空間特徵量的資訊之感應資料，顯示上述感應資料指示的物體群的狀態特徵量；以及群眾狀態預測部，根據上述參數導出部導出的狀態參數，作成預測上述物體群的狀態之預測資料。
  2. 如申請專利範圍第1項所述的群集監視裝置，其中，上述感應器是拍攝裝置；上述感應資料是影像資料；以及以上述實空間作為基準的空間特徵量的資訊，是上述物體群的縮尺資訊。
  3. 如申請專利範圍第1項所述的群集監視裝置，其中，對上述感應資料，更給予解析上述感應資料中的編碼圖推斷的定位資訊。
  4. 如申請專利範圍第1項所述的群集監視裝置，其中，上述群眾狀態預測部，包括：空間群集狀態預測部，根據上述狀態參數，作成預測未設置上述感應器的區域的狀態的空間預測資料。
  5. 如申請專利範圍第1項所述的群集監視裝置，其中，上述群眾狀態預測部，包括：時間群集狀態預測部，根據上述狀態參數，作成預測上述物體群的未來狀態的時間預測資料。
  6. 如申請專利範圍第1項所述的群集監視裝置，更包括： 警備計畫導出部，根據上述狀態參數與上述預測資料，導出警備計畫案。
  7. 如申請專利範圍第6項所述的群集監視裝置，更包括：計畫提示部，作成視覺資料或音響資料，呈現上述警備計畫部導出的警備計畫案。
  8. 如申請專利範圍第1項所述的群集監視裝置，更包括：狀態提示部，作成視覺資料或音響資料，根據上述狀態參數與上述預測資料，呈現上述物體群的狀態。
  9. 一種群集監視裝置，包括：物體檢出部，檢出從拍攝裝置收集的影像資料指示的影像中的物體群；縮尺推斷部，推斷上述物體檢出部檢出的物體群以實空間為基準的空間特徵量，作為縮尺資訊；參數導出部，根據上述縮尺推斷部推斷的縮尺資訊，導出顯示上述物體檢出部檢出的物體群的狀態特徵量之狀態參數；以及群眾狀態預測部，根據上述參數導出部導出的狀態參數，作成預測上述物體群的狀態之預測資料。
  10. 如申請專利範圍第9項所述的群集監視裝置，更包括：圖案檢出部，檢出上述影像資料指示的畫像中的編碼圖；以及圖案解析部，解析上述圖案檢出部檢出的編碼圖，推斷定位資訊。
  11. 一種群集監視系統，包括： 物體檢出部，收集影像資料，檢出上述影像資料指示的影像中的物體群；拍攝裝置，裝載影像處理裝置，具有縮尺推斷部，推斷上述物體檢出部檢出的物體群以實空間為基準的空間特徵量，作為縮尺資訊；參數導出部，根據從上述拍攝裝置收集的影像資料，導出顯示上述拍攝裝置中檢出的物體群的狀態特徵量之狀態參數；以及群眾狀態預測部，根據上述參數導出部導出的狀態參數，作成預測上述物體群的狀態之預測資料。
  12. 如申請專利範圍第11項所述的群集監視系統，其中，上述拍攝裝置，更包括：圖案檢出部，檢出上述影像資料指示的影像中的編碼圖；以及圖案解析部，解析上述圖案檢出部檢出的編碼圖，推斷定位資訊。
TW105143823A 2016-07-14 2016-12-29 群集監視裝置以及群集監視系統 TW201802764A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
??PCT/JP2016/070840 2016-07-14
PCT/JP2016/070840 WO2018011944A1 (ja) 2016-07-14 2016-07-14 群集監視装置、および、群集監視システム

Publications (1)

Publication Number Publication Date
TW201802764A true TW201802764A (zh) 2018-01-16

Family

ID=60951699

Family Applications (1)

Application Number Title Priority Date Filing Date
TW105143823A TW201802764A (zh) 2016-07-14 2016-12-29 群集監視裝置以及群集監視系統

Country Status (5)

Country Link
US (1) US20190230320A1 (zh)
JP (1) JP6261815B1 (zh)
CN (1) CN109479117A (zh)
TW (1) TW201802764A (zh)
WO (1) WO2018011944A1 (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11126863B2 (en) * 2018-06-08 2021-09-21 Southwest Airlines Co. Detection system
KR102263159B1 (ko) * 2019-07-30 2021-06-10 엘지전자 주식회사 로봇의 경로를 결정하는 인공 지능 서버 및 그 방법
CN111144377B (zh) * 2019-12-31 2023-05-16 北京理工大学 一种基于人群计数算法的密集区域预警方法
JP7371704B2 (ja) * 2020-02-03 2023-10-31 日本電気株式会社 流量情報出力装置、制御方法、及びプログラム
US20230135955A1 (en) * 2020-03-06 2023-05-04 Sony Group Corporation Information processing apparatus, information processing method, and program
JP2021157674A (ja) * 2020-03-29 2021-10-07 インターマン株式会社 混雑確認システム
CN111814648A (zh) * 2020-06-30 2020-10-23 北京百度网讯科技有限公司 一种站口拥堵情况确定方法、装置、设备及存储介质
JP7552444B2 (ja) 2021-03-04 2024-09-18 東芝ライテック株式会社 情報処理システムおよび情報処理方法
KR102571915B1 (ko) * 2021-03-17 2023-08-29 주식회사 엔씨소프트 사운드 자동 할당 장치 및 방법
CN113128430B (zh) * 2021-04-25 2024-06-04 科大讯飞股份有限公司 人群聚集检测方法、装置、电子设备和存储介质
JP2022184574A (ja) 2021-06-01 2022-12-13 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
CN114139836B (zh) * 2022-01-29 2022-05-31 北京航空航天大学杭州创新研究院 基于重力学多层三维残差网络的城市od人流预测方法
JP2023137777A (ja) * 2022-03-18 2023-09-29 パナソニックＩｐマネジメント株式会社 検出システム、検出方法、及び、検出プログラム

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6633232B2 (en) * 2001-05-14 2003-10-14 Koninklijke Philips Electronics N.V. Method and apparatus for routing persons through one or more destinations based on a least-cost criterion
US9036902B2 (en) * 2007-01-29 2015-05-19 Intellivision Technologies Corporation Detector for chemical, biological and/or radiological attacks
TWI482123B (zh) * 2009-11-18 2015-04-21 Ind Tech Res Inst 多狀態目標物追蹤方法及系統
US20130101159A1 (en) * 2011-10-21 2013-04-25 Qualcomm Incorporated Image and video based pedestrian traffic estimation
JP5856456B2 (ja) * 2011-12-02 2016-02-09 株式会社日立製作所 人流予測装置および方法
JP6091132B2 (ja) * 2012-09-28 2017-03-08 株式会社日立国際電気 侵入者監視システム
CN103218816B (zh) * 2013-04-18 2016-05-04 中山大学 一种基于视频分析的人群密度估计方法与人流量统计方法
JP6219101B2 (ja) * 2013-08-29 2017-10-25 株式会社日立製作所 映像監視システム、映像監視方法、映像監視システム構築方法
JP5707562B1 (ja) * 2014-05-23 2015-04-30 パナソニックＩｐマネジメント株式会社 モニタリング装置、モニタリングシステムおよびモニタリング方法
JP6708122B2 (ja) * 2014-06-30 2020-06-10 日本電気株式会社 誘導処理装置及び誘導方法
JP6597611B2 (ja) * 2014-07-25 2019-10-30 日本電気株式会社 画像処理装置、監視システム、画像処理方法、及びプログラム
JP6422715B2 (ja) * 2014-09-25 2018-11-14 綜合警備保障株式会社 警備システム及び警備方法
WO2016114134A1 (ja) * 2015-01-14 2016-07-21 日本電気株式会社 移動状況推定装置、移動状況推定方法およびプログラム記録媒体
CN104835147A (zh) * 2015-04-15 2015-08-12 中国科学院上海微系统与信息技术研究所 基于三维深度图数据的密集人流量实时检测方法
CN107949866A (zh) * 2015-09-15 2018-04-20 三菱电机株式会社 图像处理装置、图像处理系统和图像处理方法
US10433399B2 (en) * 2016-04-22 2019-10-01 Signify Holding B.V. Crowd management system

Also Published As

Publication number Publication date
JP6261815B1 (ja) 2018-01-17
WO2018011944A1 (ja) 2018-01-18
US20190230320A1 (en) 2019-07-25
CN109479117A (zh) 2019-03-15
JPWO2018011944A1 (ja) 2018-07-12

Similar Documents

Publication Publication Date Title
TW201802764A (zh) 群集監視裝置以及群集監視系統
JP6099833B1 (ja) 画像処理装置、画像処理システム及び画像処理方法
US9514371B1 (en) Systems and methods for automated cloud-based analytics and 3-dimensional (3D) display for surveillance systems
US9514370B1 (en) Systems and methods for automated 3-dimensional (3D) cloud-based analytics for security surveillance in operation areas
US9747502B2 (en) Systems and methods for automated cloud-based analytics for surveillance systems with unmanned aerial devices
US9516280B1 (en) Systems and methods for automated cloud-based analytics and 3-dimensional (3D) display for surveillance systems in retail stores
US9516281B1 (en) Systems and methods for automated cloud-based analytics for security surveillance systems with mobile input capture devices
US9516279B1 (en) Systems and methods for automated cloud-based 3-dimensional (3D) analytics for surveillance systems
JP5994397B2 (ja) 情報処理装置、情報処理方法およびプログラム
US10217003B2 (en) Systems and methods for automated analytics for security surveillance in operation areas
US9516278B1 (en) Systems and methods for automated cloud-based analytics and 3-dimensional (3D) playback for surveillance systems
US11120274B2 (en) Systems and methods for automated analytics for security surveillance in operation areas
JP5838560B2 (ja) 画像処理装置、情報処理装置、及び撮像領域の共有判定方法
CN111652173B (zh) 一种适合综合商场内人流管控的采集方法
JP2022075766A (ja) 視聴支援装置、視聴支援方法及びプログラム