CZ303854B6 - Decentralized supervisory network enabling request and analysis of supervisory data - Google Patents
Decentralized supervisory network enabling request and analysis of supervisory data Download PDFInfo
- Publication number
- CZ303854B6 CZ303854B6 CZ20110285A CZ2011285A CZ303854B6 CZ 303854 B6 CZ303854 B6 CZ 303854B6 CZ 20110285 A CZ20110285 A CZ 20110285A CZ 2011285 A CZ2011285 A CZ 2011285A CZ 303854 B6 CZ303854 B6 CZ 303854B6
- Authority
- CZ
- Czechia
- Prior art keywords
- network
- control
- metadata
- data
- elements
- Prior art date
Links
Landscapes
- Alarm Systems (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
Description
Vynález se týká dohledové sítě obsahující snímací prvky spřažené datovými přenosovými linkami s alespoň jednou řídicí a kontrolní jednotkou.The invention relates to a surveillance network comprising sensing elements coupled with data transmission lines with at least one control and monitoring unit.
Dosavadní stav technikyBACKGROUND OF THE INVENTION
Ve Velké Británii bylo v roce 2003 v provozu 2,5 mil CCVT kamer, v roce 2007 bylo v provozu celkem 4,2 mil kamer, které zaznamenaly průměrného britského občana v průměru 300x denně. I přes tento nárůst však stále zůstává 80 % kriminálních činů neobjasněno [Evening Standard 19. 9. 2007, BBC News 4. 4. 2007],In the United Kingdom, 2.5 million CCVT cameras were in operation in 2003, and in 2007 a total of 4.2 million cameras were in operation, recording an average British citizen 300 times a day on average. However, despite this increase, 80% of crimes remain unclear [Evening Standard 19 September 2007, BBC News 4 April 2007],
Chce-li bezpečnostní organizace, např. policie atd., zjistit pohyb konkrétní osoby v konkrétní oblasti, nezbývá než osobně prohlédnout pořízené videozáznamy a na základě takto zdlouhavě a namáhavě zjištěných údajů o pohyb konkrétní osoby v konkrétní oblasti pak stanovit časoprostorový popis pohybu sledované osoby, dalším negativním faktorem při takovém vyhodnocování či analýze videozáznamu je lidský faktor, zejména únava či jiná nepozornost osob sledujících videozáznam, čímž může dojít k opomenutí či přehlédnutí důležitých skutečností a tím i ke zkreslení celé situace.If a security organization, such as the police, etc., wants to detect the movement of a specific person in a particular area, it is possible to look at the recorded video in person and determine the spatio-temporal description of the person's movement on the basis of such lengthy and laborious data. Another negative factor in such video evaluation or analysis is the human factor, in particular the fatigue or other inattention of the people watching the video, which may omit or overlook important facts and thus distort the situation.
Jsou také známé systémy sloužící k počítání osob nebo odložených zavazadel v akademické i komerční sféře [PETS series: www.cvg.rdg.ac.uk/slides/pets.html, Axis: www.axis.com/products/].There are also known systems for counting persons or luggage in the academic and commercial spheres [PETS series: www.cvg.rdg.ac.uk/slides/pets.html, Axis: www.axis.com/products/].
Dále bylo podáno několik patentů v příbuzných oblastech, například na kamery obsahující procesory [WO 03/047 258] nebo jejich sítě [WO 2006/068 463, WO 2006/109 162], Také byly publikovány práce zabývající se multi-kamerovými systémy [Javed, Omar. Automated Multicamera Surveillance; Algorithms and Practice. Springer, 2008.]. Nicméně v současné době nám není znám žádný systém, který je schopný inteligentně pracovat se záznamy reálných dohledných dat v libovolně škálovatelném prostředí (v praxi ani teoreticky popsán).In addition, several patents have been filed in related fields, for example on cameras containing processors [WO 03/047 258] or networks thereof [WO 2006/068 463, WO 2006/109 162]. Also work on multi-camera systems has been published [Javed , Omar. Automated Multicamera Surveillance; Algorithms and Practice. Springer, 2008.]. However, at present we do not know any system that is able to work intelligently with records of real surveillance data in an arbitrarily scalable environment (in practice or theoretically described).
Cílem vynálezu je odstranit nebo alespoň minimalizovat nevýhody dosavadního stavu techniky, zejména snížit náročnost na lidské zdroje a také časovou náročnost vyšetřování bezpečnostních incidentů.It is an object of the present invention to eliminate or at least minimize the disadvantages of the prior art, in particular to reduce human resource requirements as well as the time required to investigate security incidents.
Podstata vynálezuSUMMARY OF THE INVENTION
Cílem vynálezu je dosaženo dohledovou sítí obsahující snímací prvky spřažené datovými přenosovými linkami s řídicí a kontrolní jednotkou nebo jednotkami. Podstata pohledové sítě spočívá v tom, že mezi snímacími prvky a řídicí a kontrolní jednotkou je zařazen alespoň jeden senzor pro zpracování dat snímacích prvků a tvorbu metadat, přičemž alespoň jednomu senzoru je přiřazena jedna integrační jednotka pro zajištění stálosti a konzistence metadat v reálném čase a pro jejich ukládání, přičemž alespoň jednomu senzoru a alespoň jedné integrační jednotce je přirazena alespoň jedna analytická jednotka pro off-line analýzu metadat a kalibraci senzorů a integračních jednotek.The object of the invention is achieved by a surveillance network comprising sensing elements coupled with data transmission lines to the control unit (s). The essence of the view network is that at least one sensor for processing data of the sensor elements and metadata generation is located between the sensing elements and the control and monitoring unit, at least one sensor is assigned one integration unit to ensure real-time metadata stability and consistency and storing them, wherein at least one sensor and at least one integration unit is assigned at least one analytical unit for off-line metadata analysis and calibration of the sensors and integration units.
Toto uspořádání umožňuje vytvoření decentralizovaného dohledového systému, pomocí něhož je možné automatizovaně analyzovat pořízené záznamy o objektech a vlastnostech prostředí na základě zadání hledaným parametrů objektu či vlastnosti prostředí, a to bez nutnosti manuálníhoThis arrangement enables the creation of a decentralized surveillance system, by means of which it is possible to automatically analyze the acquired records of objects and environmental properties based on the input of the desired object parameters or environmental properties, without the need for manual
- 1 CZ 303854 B6 nebo osobního procházení těchto záznamů obsluhou, ať už se jedná o video záznamy, audio záznamy nebo záznamy vlastností prostředí atd. Informace o zaznamenaných objektech a vlastnostech prostředí se uchovávají po maximálně možnou dobu, po kterou je kdykoli možno vyhledávat požadovaný objekt či vlastnost prostředí. Výhodný provedení vynálezu jsou předmětem závislých patentových nároků a jsou blíže uvedena v popisu příkladných provedení vynálezu.- 1 CZ 303854 B6 or personal browsing of these records by operators, be it video recordings, audio recordings or environmental properties recordings, etc. Information on recorded objects and environmental properties shall be kept for as long as possible for the desired object to be searched at any time or environmental property. Preferred embodiments of the invention are the subject of the dependent claims and are set forth in the description of exemplary embodiments of the invention.
Přehled obrázků na výkresechBRIEF DESCRIPTION OF THE DRAWINGS
Strukturu vynálezu zobrazuje obr. 1 schéma statického uspořádání dohledové sítě podle vynálezu, obr. 2 dynamické schéma činnosti zařízení podle vynálezu a obr. 3 dynamické schéma činnosti zařízení podle vynálezu při dotazování.Fig. 1 is a diagram of the static configuration of the surveillance network according to the invention; Fig. 2 is a dynamic diagram of the operation of the device according to the invention;
Příklady provedení vynálezuDETAILED DESCRIPTION OF THE INVENTION
Vynález bude popsán na příkladu provedení dohledové sítě a způsobu její činnosti. Síť obsahuje soustavu prvků, které jsou propojeny za účelem přenosu dat, řízení kladení dotazů atd. Jednotlivé prvky sítě jsou nastaveny podle jejich prostorových a časoprostorových souvislostí a to včetně mobilních prvků sítě. Jednotlivé prvky sítě jsou dále kalibrovány za účelem nastavení jejich citlivosti. Dohledová síť obsahuje soustavu snímacích prvků 101, které jsou instalovány tak, že snímají určitý sub-prostor, a to jak venkovní, např. ulice, náměstí atd., tak i vnitřní, např. haly letiště či nádraží, chodby, nebo kombinace venkovního a vnitřního prostředí atd. Snímané sub-prostory tvoří dohromady v rámci sítě jako celku celý sledovaný prostor. Snímacími prvky 101 je možno zaznamenat jak stav libovolného objektu ve sledovaném sub-prostoru nalézají. Snímací prvky produkují data o snímaných sub-prostorech.The invention will be described by way of example of an embodiment of a surveillance network and a method of its operation. The network contains a set of elements that are interconnected for data transmission, query management, etc. Individual network elements are set according to their spatial and spatio-temporal context, including mobile network elements. Individual network elements are further calibrated to adjust their sensitivity. The surveillance network comprises a plurality of sensing elements 101 that are installed to sense a particular sub-space, both outdoor, e.g., street, square, etc., as well as indoor, e.g., airport or railway station halls, corridors, or a combination of outdoor and indoor environment, etc. The scanned sub-spaces together form the whole monitored space within the network as a whole. By sensing elements 101 it is possible to record how the state of any object is found in the sub-space to be monitored. The sensing elements produce data about the sensed sub-spaces.
Podle jednoho příkladu provedení jsou snímací prvky 101 tvořeny takzvanými výhradně snímacími prvky, které samy o sobě nepodporují datové přenosy, např. IP komunikaci, takže jejich signál musí být modifikován nebo uzavřen do vhodného datového kontejneru, aby tyto výhradně snímací prvky mohly být použitelné jako snímací prvky 101 dle tohoto vynálezu. Příkladem takových výhradně snímacích prvků jsou např. přístupové a poplachové systémy zahrnující detektory testující přítomnost objektů (např. pohyb) nebo stav prostředí (např. světlo, vibrace, plyny, tekutiny, oheň, detektory kovů, automatizační a transportní systémy, jako brány, semafory, výtahy, dopravníky, vozíky atd.). Podle dalšího příkladu provedení jsou snímací prvky 101 tvořeny takzvanými média stream elementy, což jsou zařízeny vytvářející proud dat zadaného standardu kódování (JPEG,. MPEG, H.26x atd.) a vysílající tento datový proud pomocí IP komunikace. Těmito zařízeními mohou být samostatná zařízení (vizuální kamera, infračervená kamera, rentgenová kamera atd.) nebo jimi mohou být mikrofon a/nebo agregátor, který agreguje několik analogových datových proudů do jednoho, např. stávající analogové CCTV kamery a k nim náležející převodníky.According to one exemplary embodiment, the sensing elements 101 consist of so-called solely sensing elements that do not themselves support data transmissions, e.g. IP communication, so that their signal must be modified or enclosed in a suitable data container in order for these solely sensing elements to be usable as sensing elements. elements 101 according to the invention. Examples of such solely sensing elements are, for example, access and alarm systems including detectors that test for the presence of objects (eg motion) or environmental conditions (eg light, vibration, gases, liquids, fire, metal detectors, automation and transport systems such as gates, traffic lights) , elevators, conveyors, trolleys, etc.). According to another exemplary embodiment, the sensing elements 101 consist of so-called media stream elements, which are arranged to generate a data stream of a specified coding standard (JPEG, MPEG, H.26x, etc.) and transmit the data stream by IP communication. These devices may be stand-alone devices (visual camera, infrared camera, X-ray camera, etc.) or may be a microphone and / or aggregator that aggregates several analog data streams into one, eg existing analog CCTV cameras and their associated converters.
Podle dalšího příkladu provedení jsou snímací prvky 101 tvořeny takzvanými média severy, což jsou zařízení se schopnostmi média stream elementů a navíc doplněná o schopnost uchovávat data v požadovaném kompresním formátu (JPEG, MPEG, H.26x atd.). Média stream servery jsou také schopny na příslušnou žádost vyvolat uchovávaná data a např. je odeslat do požadovaného cíle.According to a further exemplary embodiment, the sensing elements 101 are formed by so-called media grips, which are devices with stream element media capability and additionally the ability to store data in a desired compression format (JPEG, MPEG, H.26x, etc.). Media stream servers are also able to retrieve stored data upon request and, for example, send it to the desired destination.
Snímací prvky 101 jsou spřaženy s komunikačními prvky 100, které zajišťují přenos dat, řídicích povelů a další datovou komunikaci s dalšími prvky dohledové sítě.The sensor elements 101 are coupled to communication elements 100 that provide data transmission, control commands, and other data communication with other elements of the surveillance network.
Podle jednoho příkladu provedení jsou snímací prvky 101 a komunikační prvky 100 tvořeny součástmi stávajících dohledových systémů a sítí, které tak mohou být dodatečně rozšířeny o novou funkčnost podle tohoto vynálezu.According to one exemplary embodiment, the sensing elements 101 and communication elements 100 are comprised of components of existing surveillance systems and networks, which can be additionally enhanced with the new functionality of the present invention.
-2CZ 303854 B6-2GB 303854 B6
Síť podle tohoto vynálezu dále obsahuje senzory 102, které jsou datovými komunikačními linkami spřaženy se snímacími prvky 101. Senzoiy 102 provádějí on-li analýzu údajů zaznamenaných přiřazeným snímacím prvkem 101 v příslušném sub-prostoru, přičemž výsledkem této analýzy jsou metadata, která popisují stavy objektů a vlastnosti prostředí nalézajících se v příslušném sub-prostoru. Typ prováděné on-line analýzy tady závisí na typu analyzovaných dat, např. může být sledována teplota a analyzována zvýšená teplota nebo změna teploty, pohyb osoby, včetně jejího rozpoznání, rozpoznání objektu, apod. Metadata jsou vytvářena pomocí technik implementovaných v počítačovém hardwaru, jako jsou CPU, GPU, FPGA, atd.The network of the present invention further comprises sensors 102 that are coupled with sensor elements 101 via data communication lines. Senzoiy 102 performs on-line analysis of data recorded by the associated sensor element 101 in a respective sub-space, resulting in metadata describing the states of objects and environmental properties found in the respective sub-space. The type of on-line analysis performed here depends on the type of data analyzed, eg temperature can be monitored and elevated temperature or temperature change can be analyzed, a person's movement, including its recognition, object recognition, etc. Metadata is created using techniques implemented in computer hardware such as are CPU, GPU, FPGA, etc.
Senzory 102 dále provádějí kalibraci snímacích prvků 101, která spočívá v tom, že snímací prvkyThe sensors 102 further calibrate the sensing elements 101 by sensing elements
101 stejné kategorie reagují a stejný podnět stejným způsobem, např. se provádí nelineární kalibrace teploměrů nebo kalibrace jasu, barev a prostoru u video snímacích prvků 101. Senzory 102 jsou také schopny provádět řízení, a to řízení komunikace se snímacími prvky 101. řízení v operačním režimu, řízení toku metadat v reálném čase, řízení Činnosti média stream elementů a řízení činnosti a spolupráce média severů. Senzory 102 jsou rovněž spřaženy s komunikačními prvky 100 pro přenos dat, řídicích povelů a další datovou komunikaci s jednotlivými prvky celé sítě. Snímací prvky 101 a senzory 102 jsou datovány komunikačními linkami spřaženy s alespoň jednou řídicí a kontrolní jednotkou 105. Řídicí a kontrolní jednotka 105 tvoří uživatelské rozhraní člověk - stroj a zajišťuje transformaci údajů produkovaných sítí podle tohoto vynálezu do podoby vnímatelné lidskými smysly, takže lidská obsluha je schopna sledovat daný prostor a řídit všechny připojené prky sítě.101 of the same category react and the same stimulus in the same way, e.g., non-linear calibration of thermometers or brightness, color and space calibration of video sensing elements 101 is performed. Sensors 102 are also capable of performing control, namely communication control with sensing elements 101. mode, real-time metadata flow control, media stream element activity control, and media activity management and collaboration. The sensors 102 are also coupled to communication elements 100 for data transmission, control commands, and other data communication with individual elements of the entire network. The sensing elements 101 and sensors 102 are dated by communication lines coupled to at least one control and control unit 105. The control and control unit 105 forms a human-machine user interface and ensures the transformation of data produced by the network according to the present invention into human perceptible form, able to monitor the space and control all connected network elements.
Řídicí a kontrolní jednotka 105 typicky obsahuje zobrazovač, např. monitor, projektor atd., dále obsahuje alespoň jedno vstupní zařízení, např. klávesnici, dotykovou obrazovku atd., a dále obsahuje řídicí modul či moduly pro komunikaci s jednotlivými prvky, nebo skupinami prvků, celé sítě a jejich řízení. Řídicí a kontrolní jednotka 105 ej jediným prvkem celého zařízení, který umožňuje, je-li to povoleno, poskytovat informace ze sítě dle vynálezu do další sítě, která je vůči dohledové síti podle tohoto vynálezu sítí externí, např. do Internetu, intranetu atd.The control and monitoring unit 105 typically comprises a display, such as a monitor, a projector, etc., further comprising at least one input device, such as a keyboard, touch screen, etc., and further comprises a control module (s) for communicating with individual elements or groups of elements. the whole network and their management. The control and monitoring unit 105 is the only element of the whole device which allows, if permitted, information from the network according to the invention to another network that is external to the surveillance network according to the invention, eg to the Internet, intranet etc.
Mezi řídicími a kontrolními jednotkami 105 a senzory 102 jsou v síti zařazeny integrační jednotky 103. které v reálném čase zajišťují stálost a konzistenci metadat ve sledovaném prostoru. Integrační jednotky 103 zpracovávají metadata a komunikují mezi sebou, přičemž každá integrační jednotka 103 dále provádí on-line řízení metadat, uchovávání, dotazování, transport a identifikaci (pohybujících se objektů sledovaných snímacími prvky 101, které jsou spřaženy s příslušnou integrační jednotkou 103. Metadata z příslušného sledovaného sub-prostoru jsou uchovávána každou integrační jednotkou 103 především z důvodu jejich pozdějšího využití pro zpracování založeném na pozdějším vyžádání metadat, pravděpodobnosti rozpoznání, existence nebo dalších předpovědí chování objektu či vlastnostech prostředí v příslušném sub-prostoru či celém sledovaném prostoru atd. Integrační jednotky 103 provádějí on-line dotazování dalších integračních jednotek 103, zpravidla těch, které obhospodařují sousedící část sledovaného prostředí s cílem udržení konzistentní identifikace (pohybujícího se) objektu v celém sledovaném prostoru. Identifikace (pohybujícího se objektu je přitom prováděna s cílem určit, jestli se jedná o objekt nový nebo se jedná o objekt již zaznamenaný, např. v jiné části sledovaného prostoru jiným senzoremBetween the control and monitoring units 105 and the sensors 102 are integrated in the network integration units 103, which in real time ensure the stability and consistency of the metadata in the monitored space. The integration units 103 process the metadata and communicate with each other, and each integration unit 103 further performs on-line metadata management, storage, interrogation, transport and identification (of the moving objects tracked by the sensor elements 101 that are associated with the respective integration unit 103). of the sub-space under observation are held by each integration unit 103 primarily because of their later use for processing based on later metadata requests, probability of recognition, existence or other predictions of object behavior or environmental properties within the sub-space or entire observation space, etc. 103 perform on-line interrogation of other integration units 103, usually those that manage the neighboring part of the monitored environment in order to maintain consistent identification ( Identification of a (moving object) is performed in order to determine whether it is a new object or an object already recorded, eg in another part of the monitored space by another sensor
102 a jinou integrační jednotkou 103. Sledovanými objekty mohou být automobily, lidé, atp. dle aplikační domény.102 and other integration unit 103. The monitored objects can be cars, people, etc. by application domain.
Zařízení dále obsahuje analytickou jednotku 104, která provádí off-line analýzu metadat a kalibruje senzory 102 a integrační jednotky 103. Analytická jednotka 104 je funkčně nadřazena integračním jednotkám 103 a uchovává metadata podřízených integračních jednotek 103. Off-line analýzou metadat se zde rozumí vyžádání shromážděných metadat, doručení odpovídajících výsledků a vyžádání si pravděpodobnosti existence nebo dalších faktorů objektů, více objektů nebo vlastností prostředí, podobně jako je provádějí integrační jednotky 103. Analytická jednotka 104 kromě jiného také slouží pro nastavení časoprostorových souvislostí mezi objekty a/nebo vlastnostmi prostředí zaznamenanými různými senzory 102, např. prostorovou kalibraci senzorů 102 a snímacích prvků 101 podle odhadnuté předchozí a předpovězené budoucí polohy ve sledo- j CZ 303854 B6 váném prostoru atd. Analytická jednotka 104 je řízena řídicím a kontrolním zařízením 105 buď požadavkem na provedení off-line analýzy, nebo požadavkem na provedení kalibrace podřízených integračních jednotek 103 ve fázi nasazení systému především.The apparatus further includes an analysis unit 104 which performs off-line metadata analysis and calibrates the sensors 102 and integration units 103. The analysis unit 104 is functionally superior to the integration units 103 and stores metadata of the slave integration units 103. Off-line metadata analysis is here to request the collected metadata, delivering corresponding results, and requesting the likelihood of existence or other factors of objects, multiple objects or environmental properties, similar to those performed by integration units 103. The analysis unit 104 also serves to set spatio-temporal relationships between objects and / or environmental properties recorded by different sensors. 102, eg spatial calibration of sensors 102 and sensing elements 101 according to the estimated previous and predicted future position in the monitored space, etc. The analytical unit 104 is controlled by the controller. control system 105 either by requesting off-line analysis or by requesting calibration of slave integration units 103 in the deployment phase of the system.
Řídicí a kontrolní jednotka 105 má obdobné doručovací schopnosti jako senzory 102, integrační jednotky 103 a analytické jednotky 104, přičemž řídicí a kontrolní jednotka 105 je obzvláště zaměřena na komunikaci s integračními jednotkami 103 pro získání (off-line) informací o objektech a vlastnostech prostředí ve sledovaném prostoru a jejich off-line zobrazení na zobrazovači. Řídicí a kontrolní jednotka 105 má také obdobně řídicí schopnosti jako senzory 102, integrační jednotky 103 a analytické jednotky 104 se zvláštním zřetelem na přenos signálů (např. tunelováním pomocí IEEE 1451) k příslušnému snímacímu prvku 101. Podle jednoho výhodného provedení, ve kterém síť obsahuje více řídicích a kontrolních jednotek 105 je libovolná z nich určena pro řízení ostatních řídicích a kontrolních jednotek 105, takže není třeba, aby zařízení obsahovalo jakoukoli hlavní řídicí jednotku.The control and monitoring unit 105 has delivery capabilities similar to those of sensors 102, integration units 103 and analysis units 104, the control and monitoring unit 105 being particularly focused on communicating with the integration units 103 to obtain (off-line) information on objects and environmental characteristics in the environment. monitored space and their off-line display on the display. The control and monitoring unit 105 also has similar control capabilities as sensors 102, integration units 103 and analysis units 104 with particular regard to signal transmission (e.g., by IEEE 1451 tunneling) to the respective sensor element 101. According to one preferred embodiment, the network comprises the plurality of control and control units 105 is any of them designed to control the other control and control units 105, so there is no need for the device to include any master control unit.
Činnost sítě dle vynálezu je znázorněna dynamickým schématem (obr. 2) a bude blíže specifikována v následujícím popise pomocí chování sítě jako celku i pomocí chování jednotlivých prvků sítě v závislosti na chování objektů a vlastnostech prostředí sledovaného jedním senzorem. Síť zaznamenává objekty, vlastnosti prostředí a jejich změny ve sledovaném prostoru. Objekty vstupují do sledovaného prostoru, resp. jednotlivých sub-prostorů, pohybují se v něm a opouštějí jej. Jsou nebo mohou být také sledovány stavy těchto objektů, jako jsou rozměry, hmotnost, osvětlení nebo tvar, rychlost a směr pohybu atd. V případě sledovaných vlastností prostředí se jedná především o to, jestli se daná vlastnost prostředí ve sledovaném prostoru nevyskytuje mimo vymezené rozmezí, např. je sledována teplota, tlak, vlhkost, osvětlení, hluk, radioaktivita, vibrace atd. Snímané stavy prostředí přitom podobně jako objekty mohou měnit svoje umístění atp. Chování objektu a podmínky prostředí jsou sledovány snímacími prvky 101, přičemž takto snímaná data neobsahují sama o sobě mnoho užitečných informací v porovnání s metadaty, která jsou vytvářena senzory 102. Metadata jsou ukládána a dále analyzována integračními jednotkami 103 ve fázi nasazení. Integrační jednotky 103 mohou být dotazovány on-Iine na uložená metadata, zejména na jejich podobnost či shodnost se zadaným objektem, nebo mohou být analytické jednotky 104 dotazovány off-line na (netriviálně) analyzovaná metadata nebo jejich změny, kterou není možno provést v reálném čase. Dotazy a řídicí povely jsou zasílány pomocí řídicích signálů. Protože data a metadata jsou přenášena výběrově a řídicí signály 200c mohou řídit kterýkoli prvek sítě, dokonce i řídicí a kontrolní jednotky 105, celá síť je považována za decentralizovanou.The operation of the network according to the invention is illustrated by a dynamic diagram (Fig. 2) and will be further specified in the following description by the behavior of the network as a whole and by the behavior of individual elements of the network depending on the behavior of objects and the environment. The network records objects, environment properties, and changes in the monitored space. Objects enter the monitored area, respectively. individual sub-spaces, move in and leave it. The states of these objects, such as dimensions, weight, illumination or shape, velocity and direction of movement etc. are or can be monitored, etc. In particular, the monitored environmental properties are concerned whether the given environmental property is not outside the defined range in the monitored area, eg temperature, pressure, humidity, lighting, noise, radioactivity, vibration, etc. are monitored. The behavior of the object and the environmental conditions are monitored by the sensing elements 101, wherein the sensed data does not in itself contain much useful information as compared to the metadata generated by the sensors 102. The metadata is stored and further analyzed by the integration units 103 in the deployment phase. The integration units 103 may be queried on-line for stored metadata, in particular for their similarity or identity to a specified object, or the analytical units 104 may be queried off-line for (nontrivially) analyzed metadata or their changes that cannot be made in real time . Queries and control commands are sent using control signals. Since data and metadata are transmitted selectively, and control signals 200c can control any element of the network, even the control and monitoring units 105, the entire network is considered decentralized.
Data 200d jsou vytvářena snímacími prvky 101 a/nebo senzory 102 a jsou užita různými prvky zařízení, jako jsou ostatní snímací prvky 101 nebo senzory 102 a zejména řidiči jednotky 105. Příkladem je přenos IEEE 1451, audio nebo video stream. Pro to je použita IP komunikace s protokoly jako jsou TCP, UDP, DCCP, RTP, SCTP, RSVP, SRTP, IGMP, RTCP, SIP, H.323, MPEG-2 TS nebo novější.Data 200d is generated by sensor elements 101 and / or sensors 102 and is used by various device elements such as other sensor elements 101 or sensors 102, and in particular to the control unit 105. Examples are transmission of IEEE 1451, audio or video stream. IP communication with protocols such as TCP, UDP, DCCP, RTP, SCTP, RSVP, SRTP, IGMP, RTCP, SIP, H.323, MPEG-2 TS or later is used.
Metadata 200m jsou informace o objektech a podmínkách prostředí. Jedná se o on-line zpracovaná data, jejichž rysy jsou extrahovány senzory 102. Identifikace rysů je prováděna integračními jednotkami 103 a popřípadě i analytickými jednotkami 104, které produkují jiné informace nepřímo vyplývající ze zaznamenaných dat. Metadata jsou užita integračními jednotkami 103 a analytickými jednotkami 104 a podle potřeby jsou řízena a kontrolována jednotkami 105. Příkladem metadat je formát MPEG-7 popisující multimediální data, nové objekty, ztracené objekty, sta v nebo změnu podmínek prostředí a další informace. Proto je pro metadata 200m použita IP komunikace s protokoly jako jsou TCP, UDP, DCCP, RTP, SCTP, RSVP, SRTP, IGMP, RTCP, RTSP, SIP nebo novější a jejich kombinace k zajištění rychlosti, bezpečnosti a spolehlivosti přenosu.Metadata 200m is information about objects and environmental conditions. These are on-line processed data, the features of which are extracted by the sensors 102. The feature identification is performed by the integration units 103 and optionally the analysis units 104 which produce other information indirectly resulting from the recorded data. Metadata is used by integration units 103 and analysis units 104 and is controlled and controlled by units 105 as required. An example of metadata is the MPEG-7 format describing multimedia data, new objects, lost objects, status or change of environmental conditions, and other information. Therefore, IP communications with protocols such as TCP, UDP, DCCP, RTP, SCTP, RSVP, SRTP, IGMP, RTCP, RTSP, SIP or later, and combinations thereof, are used for metadata to ensure speed, security, and reliability of transmission.
Řídicí signál 200c ie signál z prvků 100 až 105, přičemž každý řídicí signál 200c obsahuje adresu zdrojové a cílové jednotky, řídicí identifikační znak, časové razítko, prioritu, odpovědní časové razítko, řídicí příkazy a specifická data, pokud jsou vyžadována. Odpovědí na řídicí signál 200cThe control signal 200c is a signal from elements 100-105, each control signal 200c including a source and destination unit address, a control identifier, a timestamp, a priority, a response timestamp, control commands, and specific data if required. In response to the control signal 200c
-4CZ 303854 B6 mohou být data, metadata, jiný řídicí signál nebo nemusí být odpověď vyžadována vůbec, což je určeno z řídicích příkazů a odpovědního časového razítka. Komunikace je prováděna obdobně jako u dat 200d a metadat 200m.The data may be data, metadata, another control signal, or a response may not be required at all, as determined by the control commands and the response time stamp. Communication is performed similarly to data 200d and metadata 200m.
Adresami jednotlivých prvků zařízení jsou přitom IP adresy, výběrové (multicast) adresy, nebo speciální identifikátory (obdobně jako u IEEE 1451). Řídicí signál 200c může být poslán buď do řízeného prvku přímo, nebo může být poslán „tunelováním“ přes určené prvky zařízení, přičemž odesílací prvek sítě nemusí nutně znát adresu koncového prvku sítě. Řídicí identifikační znak je jednoznačný identifikátor řídicího signálu s ohledem na výchozí prvek vysílající řídicí signál. Časová razítka jsou podobná časovým razítkům standardu POSIX, která obsahují údaj o reálném čase. Pokud je odpovědní časové razítko menší než určená hodnota (např. rok 0), znamená přítomnost odpovědního časového razítka, že je třeba poslat odpověď, jakmile senzor 102 zjistí dosažení určených podmínek. Pokud odpovědní časové razítko v řídicím signálu 200c chybí, znamená to, že odpověď není vyžadována. Prioritou je číslo (např. z intervalu od 0 do 100), které specifikuje důležitost a požadované pořadí odpovědí. Např. nejnižší priorita znamená klid, vyššínormální priorita znamená možné ignorování odpovědního časového razítka, nejvyšší priorita (priorita reálného času) znamená odeslání odpovědi ihned. Příkazy týkající se komunikace, operačních režimů, reálného času a stavů prvků celé sítě jsou běžně přijímány senzory 102, integračními jednotkami 103, analytickými jednotkami 104 a řídicími a kontrolními jednotkami 105.The addresses of individual devices are IP addresses, multicast addresses or special identifiers (similar to IEEE 1451). The control signal 200c may either be sent directly to the control element or may be sent by "tunneling" over specified device elements, whereby the network sender does not necessarily know the address of the network end element. The control identifier is a unique identifier of the control signal with respect to the initial element transmitting the control signal. Timestamps are similar to POSIX timestamps that contain real-time data. If the response time stamp is less than a specified value (e.g., year 0), the presence of the response time stamp means that a response needs to be sent as soon as the sensor 102 detects that the specified conditions have been reached. If the response timestamp in control signal 200c is missing, this means that no response is required. Priority is a number (eg from 0 to 100) that specifies the importance and order of responses. E.g. the lowest priority means quiet, the higher normal priority means possible ignoring the response time stamp, the highest priority (real time priority) means sending the response immediately. Commands related to communication, operating modes, real time, and states of network-wide elements are commonly received by sensors 102, integration units 103, analysis units 104, and control and monitoring units 105.
Činnost sítě při dotazování na objekty či vlastnosti prostředí ve sledovaném prostoru či sub-prostoru je znázorněna dynamickým schématem na obr. 3. Dotazy 200 jsou řídicími žádostmi o data 200d, metadata 200m, identitu či pravděpodobnost existence a další stavy objektů, vlastností prostředí a jejich agregovaných hodnot. Dotazy 200 je možno rozdělit na on-line dotazy 201a a off-line dotazy 201b. Odpověď na dotazy 200 může být okamžitá nebo kontinuální, kdy jsou výsledky doručování pravidelně nebo poté, co je dosaženo specifických podmínek. Lze pokládat přesné dotazy, pokud je známa identita objektu nebo identifikátor objektu nebo, pokud přesný identifikátor není znám, je možno pokládat dotazy na podobnost, které jsou založené na analýze metadat 200m. Mohou být také prováděny dotazy na pravděpodobnost výskytu určité skutečnosti ve sledovaném prostoru nebo sub-prostoru.The network activity to query objects or environment properties in the monitored space or sub-space is illustrated by the dynamic diagram in Fig. 3. Queries 200 are control requests for data 200d, metadata 200m, identity or probability of existence and other states of objects, environment properties and their aggregated values. Queries 200 can be divided into on-line queries 201a and off-line queries 201b. The response to queries 200 may be immediate or continuous, when delivery results are periodic or after specific conditions are reached. Precise queries can be asked if the object identity or object identifier is known, or if the exact identifier is unknown, similarity queries based on 200m metadata analysis can be asked. Queries may also be made about the likelihood of a fact occurring in the observed space or subspace.
On-line dotazy 201a jsou přitom přijímány integračními jednotkami 103 a mohou být zodpovězeny v reálném čase. Existují okamžité dotazy jako dotazy na podmínky prostředí týkající se jednoho snímacího prvku 101, dotazy na existenci, identitu a vzdálenost objektu ve specifikovaném dočasném časoprostorovém intervalu a také dotazy na podobnost či identitu pohybujících se objektů. U dotazů na podobnost se jedná o mnohodimemzionální vyhledávání, jehož výsledkem jsou nejbližší sousední hodnoty k vyhledávaným hodnotám, a to podle různých měřítek. Obecně je užito např. auklidovské či kosinové určení vzdálenosti, které je doprovázeno korekcí úrovně způsobené růzností snímacích prvků 101 společně s časoprostorovou korekcí. Dotazy na podobnost a jejich odpovědi obsahují metadata 200m unikátních objektů a vlastností prostředí, zejména jejich časoprostorové umístění a další vlastnosti užitečné pro identifikaci, jako jsou alfanumerické znaky nebo vizuální vlastnosti. Výsledek dotazů na identitu neobsahuje neznámá nebo nepoužitá metadata 200m ale obsahuje identitu a pravděpodobnost spolehlivosti jejich určení. Off-line dotazy 201b jsou přijímány analytickými jednotkami 104 a mají stejné vlastnosti a možnosti jako on-line dotazy 201a s výjimkou provádění v reálném čase. Tyto dotazy také poskytují shrnutí a nelineární analýzu metadat v celém rozsahu dohledové sítě a umožňují z metadat extrahovat další užitečné informace a závěry. Například je možné definovat normální chování a na základě toho pak detekovat neobvyklé chování a nalézt všechny výskyty, např. videozáznamy, na kterých se podezřelý subjekt objevil na sledovaném prostoru. Je také možno předpokládat že off-line dotazy 201b způsobí následná vznik dalších dotazů a odpovědí uvnitř sítě, zaznamená mezi integračními jednotkami 103 a analytickými jednotkami 104.The on-line queries 201a are received by the integration units 103 and can be answered in real time. There are instantaneous queries such as environmental condition queries regarding a single sensor element 101, queries about the existence, identity and distance of an object at a specified temporary space-time interval, as well as queries about the similarity or identity of moving objects. Similarity queries are multimodal searches that result in the closest neighbor values to the search values by different scales. Generally, for example, auclidean or cosine distance determination is used, which is accompanied by a level correction caused by the variation of the sensing elements 101 together with the space-time correction. Similarity queries and their responses contain metadata of 200m unique objects and environment properties, especially their space-time location and other properties useful for identification, such as alphanumeric characters or visual properties. The result of identity queries does not contain unknown or unused 200m metadata but contains the identity and probability of reliability of their determination. Off-line queries 201b are received by the analysis units 104 and have the same features and capabilities as online queries 201a except for real-time execution. These queries also provide a summary and non-linear analysis of metadata across the surveillance network and allow other useful information and conclusions to be extracted from the metadata. For example, it is possible to define normal behavior to detect unusual behavior and to find all occurrences, such as video recordings, of a suspect subject appearing in the space being monitored. It can also be assumed that off-line queries 201b will cause subsequent queries and responses within the network to occur between the integration units 103 and the analysis units 104.
Zvláštním typem dotazuje kontinuální dotaz 201c, který je buď on-line dotazem 201a, nebo offline dotazem 201b, přičemž rozdíl je v tom, že od jednorázového on-line dotazu 201a nebo offline dotazu 201b, který podporuje pouze časové razítko reálného času, řídicí signál 200c nesoucíA particular type of query is a continuous query 201c, which is either an online query 201a or an offline query 201b, the difference being that a one-time online query 201a or an offline query 201b that only supports the real-time timestamp is a control signal. 200c bearing
-5CZ 303854 B6 kontinuální dotaz podporuje pouze časový interval, ve kterém se předpokládá, že integrační jednotky 103 a/nebo analytické jednotky 104 zašlou odpověď. Tento časový interval také udává, jak často mají být odpovědi zasílány, pokud existuje nějaký neprázdný výsledek.The continuous query only supports the time interval at which the integration units 103 and / or the analysis units 104 are expected to send a response. This time interval also indicates how often replies should be sent if there is any non-empty result.
Síť podle vynálezu může pracovat v zásadě ve dvou módech. Prvním je operační (dohledový) mód a druhým je mód nasazení. Výše uvedený popis se zabýval operačním módem sítě, přičemž v módu nasazení je nejméně jedna řídicí a kontrolní jednotka 105 určena k řízení všech ostatních prvků zařízení. To má smysl zejména při výměně prvků sítě nebo při rozšiřování sítě o nové prvky, kdy nový prvek po zapojení do sítě vyšle přihlašovací údaje kontrolním jednotkám 105. Pokud libovolná kontrolní jednotka 105 přijme přihlášení, je tento nový prvek přidán do seznamu prvků sítě, který je rozeslán ostatním jednotkám 105 pomocí výběrového vysílání (multicast). Další přihlášení tohoto prvku do sítě je již proces automatický a prvek zahájí svoji činnost dle nastavení výrobce (inteligentní snímač) nebo (uchovávaného) nastavení obsluhou.The network according to the invention can operate in essentially two modes. The first is the operating (supervisory) mode and the second is the deployment mode. The above description dealt with the operating mode of the network, wherein in the deployment mode at least one control and monitoring unit 105 is intended to control all other elements of the device. This is particularly useful when exchanging network elements or expanding the network with new elements, where a new element, when connected to the network, sends credentials to control units 105. If any control unit 105 receives a login, this new element is added to the list of network elements that sent to other units 105 via multicast. The next login of this element to the network is already automatic process and the element starts its operation according to the manufacturer's settings (intelligent sensor) or (stored) settings by the operator.
Claims (3)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CZ20110285A CZ2011285A3 (en) | 2011-05-16 | 2011-05-16 | Decentralized supervisory network enabling request and analysis of supervisory data |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CZ20110285A CZ2011285A3 (en) | 2011-05-16 | 2011-05-16 | Decentralized supervisory network enabling request and analysis of supervisory data |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CZ303854B6 true CZ303854B6 (en) | 2013-05-29 |
| CZ2011285A3 CZ2011285A3 (en) | 2013-05-29 |
Family
ID=48485818
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CZ20110285A CZ2011285A3 (en) | 2011-05-16 | 2011-05-16 | Decentralized supervisory network enabling request and analysis of supervisory data |
Country Status (1)
| Country | Link |
|---|---|
| CZ (1) | CZ2011285A3 (en) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030067387A1 (en) * | 2001-10-05 | 2003-04-10 | Kwon Sung Bok | Remote control and management system |
| US6833865B1 (en) * | 1998-09-01 | 2004-12-21 | Virage, Inc. | Embedded metadata engines in digital capture devices |
| US20050057653A1 (en) * | 2002-05-07 | 2005-03-17 | Matsushita Electric Industrial Co., Ltd. | Surveillance system and a surveillance camera |
| US20050111701A1 (en) * | 2003-11-26 | 2005-05-26 | Hitachi, Ltd. | Monitoring system |
-
2011
- 2011-05-16 CZ CZ20110285A patent/CZ2011285A3/en not_active IP Right Cessation
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6833865B1 (en) * | 1998-09-01 | 2004-12-21 | Virage, Inc. | Embedded metadata engines in digital capture devices |
| US20030067387A1 (en) * | 2001-10-05 | 2003-04-10 | Kwon Sung Bok | Remote control and management system |
| US20050057653A1 (en) * | 2002-05-07 | 2005-03-17 | Matsushita Electric Industrial Co., Ltd. | Surveillance system and a surveillance camera |
| US20050111701A1 (en) * | 2003-11-26 | 2005-05-26 | Hitachi, Ltd. | Monitoring system |
Also Published As
| Publication number | Publication date |
|---|---|
| CZ2011285A3 (en) | 2013-05-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Sultana et al. | IoT-guard: Event-driven fog-based video surveillance system for real-time security management | |
| US20200296556A1 (en) | System, Method and Apparatus for Sensing Changes in an Environment Using Wireless Communication Signals | |
| KR100989081B1 (en) | System and method for event surveillancing by using network camera | |
| US10051349B2 (en) | Sensor based system and method for premises safety and operational profiling based on drift analysis | |
| JP6458755B2 (en) | Data flow control device and data flow control method | |
| CN101365114B (en) | Proxy video server for video surveillance | |
| US20180158322A1 (en) | Method and device for measuring and predicting human and machine traffic | |
| US10878323B2 (en) | Rules engine combined with message routing | |
| WO2014050192A1 (en) | Device management apparatus and device search method | |
| US20140285659A1 (en) | Intelligent central surveillance server system and controlling method thereof | |
| Karaadi et al. | Multimedia communications in internet of things QoT or QoE? | |
| Chung et al. | MUL-SWoT: A social web of things platform for internet of things application development | |
| US20240212082A1 (en) | Systems and methods for providing situational awareness to first responders | |
| US20140266670A1 (en) | Home Surveillance and Alert triggering system | |
| JP6372508B2 (en) | Data flow control device and data flow control method | |
| US20220277217A1 (en) | System and method for multimodal neuro-symbolic scene understanding | |
| JP2007122433A (en) | Sensor data allocation distribution system and method for the same | |
| KR20120004037A (en) | System and method for providing image service using security camera | |
| CZ303854B6 (en) | Decentralized supervisory network enabling request and analysis of supervisory data | |
| KR101916411B1 (en) | Industrial iot based accident prediction system and method for construction site safety | |
| KR20100003658A (en) | System for anti-crime using internet and method for control of the same | |
| CN106685946B (en) | A kind of thing network sensing layer intruding detection system | |
| CN106526100A (en) | Food quality detection system | |
| KR20100073889A (en) | Rfid system and sensor networks integrated middleware | |
| US20230024018A1 (en) | System, Device, and Method of Classifying Encrypted Network Communications |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| MM4A | Patent lapsed due to non-payment of fee |
Effective date: 20190516 |