CN113329205B - 物联网视频数据处理系统、方法和装置 - Google Patents
物联网视频数据处理系统、方法和装置 Download PDFInfo
- Publication number
- CN113329205B CN113329205B CN202110383522.4A CN202110383522A CN113329205B CN 113329205 B CN113329205 B CN 113329205B CN 202110383522 A CN202110383522 A CN 202110383522A CN 113329205 B CN113329205 B CN 113329205B
- Authority
- CN
- China
- Prior art keywords
- video data
- camera
- processing result
- cloud server
- algorithm
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims abstract description 144
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000004458 analytical method Methods 0.000 claims abstract description 21
- 230000006855 networking Effects 0.000 claims 4
- 230000015654 memory Effects 0.000 description 9
- 238000004891 communication Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000004044 response Effects 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000002245 particle Substances 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 210000001638 cerebellum Anatomy 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 210000001503 joint Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Multimedia (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
本发明公开了物联网视频数据处理系统、智能零售系统及方法和装置。所述物联网视频数据处理系统,包括边缘设备和智能终端;边缘设备,用于从至少一个与其连接的摄像机获取实时拍摄的视频数据,边缘设备中与该摄像机匹配的算法应用对视频数据执行相应的运算分析后得到处理结果,将处理结果传送至智能终端;智能终端,用于根据处理结果执行对应操作。能够实现AI运算与云服务器的解耦,使得视频数据处理速度不受连接的摄像机数量和网速影响,且可以应对断网场景。
Description
技术领域
本发明涉及物联网和智能零售领域,特别涉及物联网视频数据处理系统、智能零售系统及方法和装置。
背景技术
现有智能零售主要使用云端人工智能(Artificial Intelligence,AI)算法应用方案,参照图1所示,具体实现方式通常是,AI算法服务设置在云端,摄像机直连到云端,在云端启动数据传输服务专门处理摄像机视频流相关的事务,数据传输服务通过网关从各摄像机获取视频流数据,提供给各AI算法服务;AI算法服务运行在云端,将执行结果输出给VMS数据接口服务,WEB后端APP通过VMS数据接口服务获取相关数据后传送到本地PC,或为其他智能终端。
上述方案应用在智能零售场景存在以下缺点:
(1)所有数据都需要在公网上传输,有一定安全隐患,同时智能零售的响应速度受连接的摄像机数量和网速影响;
(2)AI算法服务与云端的耦合性较高,AI运算不能离线处理,而智能零售场景出现离线情况的几率比较大,故而不符合一些智能零售场景的需求,且存在数据丢失的风险。
发明内容
鉴于上述问题,提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的物联网视频数据处理系统、智能零售系统及方法和装置。
第一方面,本发明实施例提供一种物联网视频数据处理系统,包括边缘设备和智能终端;
所述边缘设备,用于从至少一个与其连接的摄像机获取实时拍摄的视频数据,边缘设备中与该摄像机匹配的算法应用对所述视频数据执行相应的运算分析后得到处理结果,将所述处理结果传送至所述智能终端;
所述智能终端,用于根据所述处理结果执行对应操作。
第二方面,本发明实施例提供一种物联网视频数据处理方法,包括:
物联网边缘设备从至少一个与其连接的摄像机获取实时拍摄的视频数据;
所述边缘设备中与该摄像机匹配的算法应用对所述视频数据执行相应的运算分析后得到处理结果,将所述处理结果传送至物联网智能终端,使得智能终端根据所述处理结果执行对应操作。
第三方面,本发明实施例提供一种物联网视频数据处理方法,包括:
物联网智能终端接收边缘设备发送的视频数据的处理结果,所述视频数据是边缘设备从至少一个与其连接的摄像机获取的实时拍摄的视频数据,所述处理结果是边缘设备中与该摄像机匹配的算法应用对所述视频数据执行相应的运算分析后得到的处理结果;
所述智能终端根据所述处理结果向云服务器请求相应信息,根据请求到的相应信息和所述处理结果执行对应操作,将所述处理结果和执行的对应操作发送至云服务器。
第四方面,本发明实施例提供一种物联网视频数据处理装置,所述装置设置于物联网边缘设备,包括:
获取模块,用于从至少一个与其连接的摄像机获取实时拍摄的视频数据;
至少一个与所述摄像机匹配的算法应用模块,用于对所述视频数据执行相应的运算分析后得到处理结果,将所述处理结果传送至物联网智能终端,使得智能终端根据所述处理结果执行对应操作。
第五方面,本发明实施例提供一种物联网视频数据处理装置,所述装置设置于物联网智能终端,包括:
接收模块,用于接收边缘设备发送的视频数据的处理结果,所述视频数据是边缘设备从至少一个与其连接的摄像机获取的实时拍摄的视频数据,所述处理结果是边缘设备中与该摄像机匹配的算法应用对所述视频数据执行相应的运算分析后得到的处理结果;
操作模块,用于根据所述接收模块接收的处理结果向云服务器请求相应信息,根据请求到的相应信息和所述处理结果执行对应操作;
发送模块,用于将所述接收模块接收的处理结果和所述操作模块执行的对应操作发送至云服务器。
本发明实施例提供的上述技术方案的有益效果至少包括:
(1)本发明实施例提供的物联网视频数据处理系统,包括边缘设备和智能终端;边缘设备,用于从至少一个与其连接的摄像机获取实时拍摄的视频数据,边缘设备中与该摄像机匹配的算法应用对视频数据执行相应的运算分析后得到处理结果,将处理结果传送至智能终端;智能终端,用于根据处理结果执行对应操作。将AI算法应用部署到物联网(Internet of Things,IoT)边缘设备,让AI运算在IoT边缘设备运行,较AI运算在云服务器运行相比,实现了云服务器与摄像机的解耦,从而提高了AI运算速度和智能终端的响应速度,且算法执行速度和智能终端的响应速度不再受连接的摄像机数量和网速影响;同时,使得视频数据的处理在离网状态也能进行,拓展了本实施例的适用场景,且不存在数据丢失的风险。
(2)视频数据及其处理结果只在物联网内传输,无需在公网上传输,提高了数据的安全性。
下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解,并且构成说明书的一部分,与本发明的实施例一起用于解释本发明,并不构成对本发明的限制。在附图中:
图1为现有智能零售系统的结构示意图;
图2为本发明实施例中物联网视频数据处理系统的结构示意图;
图3为本发明实施例中另一物联网视频数据处理系统的结构示意图;
图4为本发明实施例中物联网智能零售系统的结构示意图;
图5为本发明实施例中物联网视频数据处理装置的结构示意图;
图6为本发明实施例中另一物联网视频数据处理装置的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
为了解决现有技术中存在的智能零售系统的AI算法服务设置在云服务器使得智能零售的响应速度受连接的摄像机数量和网速影响较大且不适用于断网场景的问题,本发明实施例提供物联网视频数据处理系统、智能零售系统及方法和装置,能够实现AI运算与云服务器的解耦,使得视频数据处理速度不受连接的摄像机数量和网速影响,且可以应对断网场景。
智能零售通常是运用互联网、物联网技术,感知消费习惯,预测消费趋势,引导生产制造,为消费者提供多样化、个性化的产品和服务。物联网(The Internet of Things,IoT)边缘设备,又称IoT Edge,是边缘计算在物联网行业的应用,IoT边缘设备作为物联网边缘“小脑”,在靠近物或数据源头的边缘侧,融合网络、计算、存储、应用核心能力的开放平台,就近提供计算和智能服务,满足行业在实时业务、应用智能、安全与隐私保护等方面的基本需求。本发明实施例的适用场景为至少一个摄像机与边缘设备连接,与智能终端共同构成了一个智能零售物联网,为局域网;物联网中的边缘设备和智能终端都可以通过广域网与云服务器通信,云服务器对接至少一组上述物联网。
实施例
本发明实施例提供一种物联网视频数据处理系统,其结构如图2所示,包括边缘设备21和智能终端22。
边缘设备21,用于从至少一个与其连接的摄像机23获取实时拍摄的视频数据,边缘设备21中与该摄像机匹配的算法应用对视频数据执行相应的运算分析后得到处理结果,将处理结果传送至智能终端22。
智能终端22,用于根据处理结果执行对应操作22。
具体的,摄像机与边缘设备的连接,可以是通过局域网连接,也可以是通过数据线直接连接,具体连接方式本实施例不做限定。
在一个实施例中,物联网边缘设备为接入的摄像机分配线程,每个线程对接一个连接的摄像机;通过线程经由局域网向对应的摄像机请求实时拍摄的视频数据。
上述接入的摄像机的确定,可以是边缘设备启动时扫描已连接的摄像机,确定扫描到的摄像机;或,边缘设备启动后按设定间隔检测新接入的摄像机,确定新接入的摄像机。
在一个实施例中,智能终端22,根据处理结果执行对应操作,具体用于,根据处理结果向云服务器24请求相应信息,根据请求到的相应信息和处理结果执行对应操作,将处理结果和执行的对应操作发送至云服务器24。
现有技术是将算法应用部署在云服务器,故在云服务器执行相应的运算分析后得到处理结果,云服务器根据处理结果和调取的存储的相应信息,确定需执行的对应操作,将需执行的对应操作发送至智能终端来执行,并在接收到智能终端发送的执行结果后存储该对应操作;本发明实施例将算法应用部署在边缘设备,边缘设备执行相应的运算分析后得到处理结果,将处理结果发送至智能终端,根据处理结果向云服务器请求相应信息,根据请求到的相应信息和处理结果确定需执行的对应操作,并执行对应操作,将处理结果和执行的对应操作发送至云服务器存储。故从视频数据的处理结果开始,整个流程的数据流发生了本质的变化。
在一个实施例中,边缘设备21,从至少一个与其连接的摄像机23获取实时拍摄的视频数据后,还用于,将接收到的视频数据、与该摄像机23匹配的算法应用的标识信息和该摄像机地址组成第一数据包,向边缘设备21中当前所有的算法应用211发布第一数据包,订阅携带相应算法应用标识信息的数据的算法应用211接收第一数据包。
具体的,可以是,以算法应用(与拍摄视频数据的摄像机匹配的算法应用)的标识信息为主题,由该主题、视频数据和摄像机地址组成第一数据包,通过发布-订阅(publish-subscribe;pub-sub)的网络通讯模式,将第一数据包分发给匹配的算法应用。
在一个实施例中,边缘设备21中的算法应用211,将处理结果传送至智能终端22,具体用于,将处理结果和该摄像机地址组成第二数据包,向订阅携带相应摄像机地址的数据的边缘设备中的转发应用212发布第二数据包,转发应用212接收第二数据包,并向智能终端22发送第二数据包,转发应用212和智能终端22订阅携带相应摄像机地址的数据。
即通过pub-sub的网络通讯模式将处理结果由算法应用发送至转发应用、由转发应用发送至智能终端。具体的,可以包括,算法应用211以摄像机地址为主题,由该主题和处理结果组成第二数据包,通过pub-sub网络通讯模式,将第二数据包发送给转发应用,转发应用再通过pub-sub网络通讯模式,将第二数据包发送给智能终端。
边缘设备中的与摄像机匹配的算法应用可以是固定在边缘设备中的,即预先确定可能与边缘设备连接的摄像机匹配的算法应用,将这些算法应用都固定安装在边缘设备中。
优选的,也可以是临时根据需要实时部署的,边缘设备获取接入的摄像机的标识信息,将标识信息发送给智能终端或云服务器;边缘设备接收云服务器发送的与接入的摄像机匹配的算法程序包,即与该标识信息匹配的算法程序包,安装算法程序包得到算法应用。
具体的,将标识信息发送给智能终端,可以是,智能终端根据接收到的标识信息和设定的摄像机标识与算法应用标识的对应关系,确定与摄像机匹配的算法应用的标识信息,并发送至云服务器,以使得云服务器根据算法应用的标识信息向边缘设备发送匹配的算法程序包;边缘设备接收云服务器发送的与接入的摄像机匹配的算法程序包,安装算法程序包得到算法应用。可选的,边缘设备也可以将标识信息发送至云服务器,云服务器把接收到的标识信息再发送给智能终端,后续步骤同上述介绍;也可以是,边缘设备也可以将标识信息发送至云服务器,云服务器存储有预先从智能终端获取到的摄像机标识与算法应用标识的对应关系,根据该对应关系和接收到的标识信息,确定匹配的算法应用,进而直接将匹配的算法应用的算法程序包发送给边缘设备。
边缘设备获取接入的摄像机的标识信息,具体可以包括执行下述至少一项:
(1)边缘设备启动时扫描已连接的摄像机,获取扫描到的摄像机的标识信息。
例如,通过Onvif技术扫描已连接的摄像机。
(2)边缘设备按设定间隔检测新接入的摄像机,获取新接入的摄像机的标识信息。
边缘设备启动时扫描到摄像机或运行中按设定间隔检测到新接入的摄像机时,注册摄像机并获取摄像机相关的属性信息,如摄像机的基本信息,包括摄像机的分辨率、标识和地址等。
在一个实施例中,智能终端,还用于根据算法应用版本更新信息和当前边缘设备中运行的算法应用的版本,确定需升级的算法应用的标识信息,将需升级的算法应用的标识信息发送至云服务器,使得云服务器根据该标识信息向边缘设备发送匹配的算法程序升级包;边缘设备,用于通过接收到的算法程序升级包升级对应的算法应用。
边缘设备上的算法应用可以动态部署、更新,故一个边缘设备可以根据需求部署到不同智能零售场景,资源利用率高,节省成本。
边缘设备中与该摄像机匹配的算法应用对视频数据执行相应的运算分析后得到处理结果,例如可以是根据拍摄的客户自行选取商品时的视频数据,通过执行相应的算法得到包括确定出的客户所选商品的种类或种类和数量的处理结果。
本发明实施例一提供的物联网视频数据处理系统,包括边缘设备和智能终端;边缘设备,用于从至少一个与其连接的摄像机获取实时拍摄的视频数据,边缘设备中与该摄像机匹配的算法应用对视频数据执行相应的运算分析后得到处理结果,将处理结果传送至智能终端;智能终端,用于根据处理结果执行对应操作。将AI算法应用部署到物联网(Internet of Things,IoT)边缘设备,让AI运算在IoT边缘设备运行,较AI运算在云服务器运行相比,实现了云服务器与摄像机的解耦,从而提高了AI运算速度和智能终端的响应速度,且算法执行速度和智能终端的响应速度不再受连接的摄像机数量和网速影响;同时,使得视频数据的处理在离网状态也能进行,拓展了本实施例的适用场景,且不存在数据丢失的风险。
视频数据及其处理结果只在物联网内传输,无需在公网上传输,提高了数据的安全性。
参照图3所示,为本发明实施例提供的物联网视频数据处理系统的一种具体实例,在IoT边缘设备上实现一个网关应用,连接云服务器,云服务器通过网关应用动态部署、更新算法应用到IoT边缘设备;同时网关应用调度所有算法应用,上传IoT边缘设备信息到云服务器;实现一个摄像机管理应用,负责摄像机的接入、获取视频数据等摄像机相关的任务,为算法应用提供一个统一的数据获取接口;实现一个转发应用,专门负责接收算法应用执行结果数据,再发布给IoT边缘设备外部的本地PC(本地指摄像机的本地,与摄像机和边缘设备处于同一局域网),转发应用为算法应用提供一个统一的数据输出接口。
边缘设备启动后,其摄像机管理应用通过技术(如Onvif)扫描已连接的摄像机,注册摄像机并获取摄像机相关属性,如摄像机的基本信息,匹配的算法应用等。具体的,摄像机匹配的算法应用的获取,可以是先通过网关应用将摄像机的标识信息发送至云服务器,云服务器根据该标识信息、预先设定的摄像机标识信息与算法应用标识的对应关系,确定匹配的算法应用的标识信息,并发送匹配的算法程序包给边缘设备;或云服务器将摄像机的标识信息发送至本地PC,本地PC根据该标识信息、预先设定的摄像机标识信息与算法应用标识的对应关系,确定匹配的算法应用的标识信息,并发送匹配的算法应用的标识信息至云服务器,云服务器发送匹配的算法程序包给边缘设备。边缘设备启动后,摄像机管理应用按设定间隔检测是否有新接入的摄像机,若检测到新接入的摄像机,执行上述步骤,安装匹配的算法应用。实现了摄像机和匹配的算法应用的实时部署更新。
摄像机管理应用为每个摄像机创建一个线程,根据摄像机信息拉取视频流,并通过同一个PUB端发布出去,发布的数据包格式为:主题+视频数据+摄像机地址,主题具体为匹配的算法应用的标识信息,视频数据可以是一帧图像数据,保证了视频数据传输和处理的实时性。摄像机管理应用的PUB端将数据包发布给算法应用群,即当前运行的所有算法应用,算法应用订阅以自身标识为主题的数据包,算法应用的SUB端接收对应主题的数据包。
每个算法应用将视频数据的处理结果,以拍摄视频数据的摄像机的地址为主题,组成数据包,经由PUB端发布给转发应用的SUB端。
转发应用订阅所有算法应用的消息,再以同一个PUB接口发布给IoT边缘设备外部,即发布给本地PC。
网关应用负责连接到云服务器与之通信、接收云服务器发送的算法程序包或算法程序升级包外,还负责调度边缘设备上的所有算法应用和发送边缘设备的信息到云服务器(例如边缘设备上所有算法应用的工作状态信息等)。
整个方案中边缘设备内部及边缘设备与本地PC间的通信都是基于PUB-SUB模式,此模式是基于UDP的,不必双向连接,也不必阻塞等待,解耦更彻底,通信速度更快。
在边缘设备部署算法应用后,从摄像机到边缘设备到本地PC,是一个完整的智能零售通路,不用经过云服务器,即使离线,智能零售也能正常运作。同时,边缘设备支持快速远程部署,即支持实时、动态的增/减摄像机和算法应用,使得边缘设备的适用性更强。
基于本发明的发明构思,本发明实施例还提供一种物联网智能零售系统,其结构如图4所示,包括边缘设备41、智能终端42和云服务器43;
边缘设备41,用于从至少一个与其连接的摄像机44获取实时拍摄的视频数据,边缘设备41中与该摄像机44匹配的算法应用411对视频数据执行相应的运算分析后得到处理结果,将处理结果传送至智能终端42;
智能终端42,用于根据处理结果向云服务器43请求相应信息,根据请求到的相应信息和处理结果执行对应零售操作,将述处理结果和执行的对应零售操作发送至云服务器43。
基于本发明的发明构思,本发明实施例还提供一种物联网视频数据处理方法,包括:物联网边缘设备从至少一个与其连接的摄像机获取实时拍摄的视频数据;边缘设备中与该摄像机匹配的算法应用对视频数据执行相应的运算分析后得到处理结果,将处理结果传送至物联网智能终端,使得智能终端根据处理结果执行对应操作。
在一个实施例中,智能终端根据处理结果执行对应操作,具体可以包括,根据处理结果向云服务器请求相应信息,根据请求到的相应信息和处理结果执行对应操作,将处理结果和执行的对应操作发送至云服务器。
在一个实施例中,边缘设备从至少一个与其连接的摄像机获取实时拍摄的视频数据后,还包括,将接收到的视频数据、与该摄像机匹配的算法应用的标识信息和该摄像机地址组成第一数据包,向边缘设备中当前所有的算法应用发布第一数据包,订阅携带相应算法应用标识信息的数据的算法应用接收第一数据包。
在一个实施例中,边缘设备中的算法应用,将处理结果传送至智能终端,具体包括,将处理结果和该摄像机地址组成第二数据包,向订阅携带相应摄像机地址的数据的边缘设备中的转发应用发布第二数据包,转发应用接收第二数据包,并向智能终端发布第二数据包,转发应用和智能终端订阅携带相应摄像机地址的数据。
在一个实施例中,还包括,边缘设备获取接入的摄像机的标识信息,将标识信息发送至智能终端或云服务器,接收云服务器发送的与标识信息匹配的算法程序包,安装算法程序包得到算法应用。
在一个实施例中,边缘设备将标识信息发送至智能终端时,还包括,智能终端根据标识信息和设定的摄像机标识与算法应用标识的对应关系,确定与摄像机匹配的算法应用的标识信息,并发送至云服务器;云服务器,根据算法应用的标识信息向边缘设备发送匹配的算法程序包。
在一个实施例中,还包括,智能终端根据算法应用版本更新信息和当前边缘设备中运行的算法应用的版本,确定需升级的算法应用的标识信息,将需升级的算法应用的标识信息发送至云服务器,使得云服务器根据该标识信息向边缘设备发送匹配的算法程序升级包;边缘设备,用于通过接收到的算法程序升级包升级对应的算法应用。
在一个实施例中,边缘设备从至少一个与其连接的摄像机获取实时拍摄的视频数据,具体包括,边缘设备为接入的摄像机分配线程,通过线程经由局域网向对应的摄像机请求实时拍摄的视频数据。
基于本发明的发明构思,本发明实施例还提供一种物联网视频数据处理方法,包括:
物联网智能终端接收边缘设备发送的视频数据的处理结果,视频数据是边缘设备从至少一个与其连接的摄像机获取的实时拍摄的视频数据,处理结果是边缘设备中与该摄像机匹配的算法应用对视频数据执行相应的运算分析后得到的处理结果;智能终端根据处理结果向云服务器请求相应信息,根据请求到的相应信息和处理结果执行对应操作,将处理结果和执行的对应操作发送至云服务器。
在一个实施例中,还包括,物联网智能终端接收接入物联网边缘设备的摄像机的标识信息;根据标识信息和设定的摄像机标识与算法应用标识的对应关系,确定与摄像机匹配的算法应用的标识信息,并发送至云服务器,以使得云服务器向边缘设备发送与算法应用的标识信息匹配的算法程序包。
基于本发明的发明构思,本发明实施例还提供一种物联网视频数据处理装置,所述装置设置于物联网边缘设备,其结构如图5所示,包括:
获取模块51,用于从至少一个与其连接的摄像机获取实时拍摄的视频数据;
至少一个与摄像机匹配的算法应用模块52,用于对视频数据执行相应的运算分析后得到处理结果,将处理结果传送至物联网智能终端,使得智能终端根据处理结果执行对应操作。
基于本发明的发明构思,本发明实施例还提供一种物联网视频数据处理装置,所述装置设置于物联网智能终端,其结构如图6所示,包括:
接收模块61,用于接收边缘设备发送的视频数据的处理结果,所述视频数据是边缘设备从至少一个与其连接的摄像机获取的实时拍摄的视频数据,所述处理结果是边缘设备中与该摄像机匹配的算法应用对所述视频数据执行相应的运算分析后得到的处理结果;
操作模块62,用于根据接收模块61接收的处理结果向云服务器请求相应信息,根据请求到的相应信息和所述处理结果执行对应操作;
发送模块63,用于将接收模块61接收的处理结果和操作模块62执行的对应操作发送至云服务器。
关于上述实施例中的方法和装置,其中各步骤或各个模块执行操作的具体方式已经在有关该系统的实施例中进行了详细描述,此处将不做详细阐述说明。
除非另外具体陈述,术语比如处理、计算、运算、确定、显示等等可以指一个或更多个处理或者计算系统、或类似设备的动作和/或过程,所述动作和/或过程将表示为处理系统的寄存器或存储器内的物理(如电子)量的数据操作和转换成为类似地表示为处理系统的存储器、寄存器或者其他此类信息存储、发射或者显示设备内的物理量的其他数据。信息和信号可以使用多种不同的技术和方法中的任何一种来表示。例如,在贯穿上面的描述中提及的数据、指令、命令、信息、信号、比特、符号和码片可以用电压、电流、电磁波、磁场或粒子、光场或粒子或者其任意组合来表示。
应该明白,公开的过程中的步骤的特定顺序或层次是示例性方法的实例。基于设计偏好,应该理解,过程中的步骤的特定顺序或层次可以在不脱离本公开的保护范围的情况下得到重新安排。所附的方法权利要求以示例性的顺序给出了各种步骤的要素,并且不是要限于所述的特定顺序或层次。
在上述的详细描述中,各种特征一起组合在单个的实施方案中,以简化本公开。不应该将这种公开方法解释为反映了这样的意图,即,所要求保护的主题的实施方案需要清楚地在每个权利要求中所陈述的特征更多的特征。相反,如所附的权利要求书所反映的那样,本发明处于比所公开的单个实施方案的全部特征少的状态。因此,所附的权利要求书特此清楚地被并入详细描述中,其中每项权利要求独自作为本发明单独的优选实施方案。
本领域技术人员还应当理解,结合本文的实施例描述的各种说明性的逻辑框、模块、电路和算法步骤均可以实现成电子硬件、计算机软件或其组合。为了清楚地说明硬件和软件之间的可交换性,上面对各种说明性的部件、框、模块、电路和步骤均围绕其功能进行了一般地描述。至于这种功能是实现成硬件还是实现成软件,取决于特定的应用和对整个系统所施加的设计约束条件。熟练的技术人员可以针对每个特定应用,以变通的方式实现所描述的功能,但是,这种实现决策不应解释为背离本公开的保护范围。
结合本文的实施例所描述的方法或者算法的步骤可直接体现为硬件、由处理器执行的软件模块或其组合。软件模块可以位于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、移动磁盘、CD-ROM或者本领域熟知的任何其它形式的存储介质中。一种示例性的存储介质连接至处理器,从而使处理器能够从该存储介质读取信息,且可向该存储介质写入信息。当然,存储介质也可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。该ASIC可以位于用户终端中。当然,处理器和存储介质也可以作为分立组件存在于用户终端中。
对于软件实现,本申请中描述的技术可用执行本申请所述功能的模块(例如,过程、函数等)来实现。这些软件代码可以存储在存储器单元并由处理器执行。存储器单元可以实现在处理器内,也可以实现在处理器外,在后一种情况下,它经由各种手段以通信方式耦合到处理器,这些都是本领域中所公知的。
上文的描述包括一个或多个实施例的举例。当然,为了描述上述实施例而描述部件或方法的所有可能的结合是不可能的,但是本领域普通技术人员应该认识到,各个实施例可以做进一步的组合和排列。因此,本文中描述的实施例旨在涵盖落入所附权利要求书的保护范围内的所有这样的改变、修改和变型。此外,就说明书或权利要求书中使用的术语“包含”,该词的涵盖方式类似于术语“包括”,就如同“包括,”在权利要求中用作衔接词所解释的那样。此外,使用在权利要求书的说明书中的任何一个术语“或者”是要表示“非排它性的或者”。
Claims (8)
1.一种物联网视频数据处理系统,其特征在于,包括边缘设备和智能终端;
所述边缘设备,用于从至少一个与其连接的摄像机获取实时拍摄的视频数据,边缘设备中与该摄像机匹配的算法应用对所述视频数据执行相应的运算分析后得到处理结果,将所述处理结果传送至所述智能终端;
所述智能终端,用于根据所述处理结果向云服务器请求相应信息,根据请求到的相应信息和所述处理结果执行对应操作,将所述处理结果和执行的对应操作发送至所述云服务器;
所述边缘设备,还用于获取接入的摄像机的标识信息,将所述标识信息发送至所述智能终端或所述云服务器,接收云服务器发送的与所述标识信息匹配的算法程序包,安装所述算法程序包得到算法应用。
2.如权利要求1所述的系统,其特征在于,所述边缘设备,从至少一个与其连接的摄像机获取实时拍摄的视频数据后,还用于:
将接收到的视频数据、与该摄像机匹配的算法应用的标识信息和该摄像机地址组成第一数据包,向所述边缘设备中当前所有的算法应用发布所述第一数据包,订阅携带相应算法应用标识信息的数据的算法应用接收所述第一数据包。
3.如权利要求2所述的系统,其特征在于,所述边缘设备中的算法应用,将所述处理结果传送至所述智能终端,具体用于:
将所述处理结果和该摄像机地址组成第二数据包,向订阅携带相应摄像机地址的数据的边缘设备中的转发应用发布所述第二数据包,所述转发应用接收第二数据包,并向所述智能终端发布所述第二数据包,所述转发应用和所述智能终端订阅携带相应摄像机地址的数据。
4.如权利要求1所述的系统,其特征在于,所述边缘设备将所述标识信息发送至所述智能终端时,所述智能终端,还用于根据所述标识信息和设定的摄像机标识与算法应用标识的对应关系,确定与所述摄像机匹配的算法应用的标识信息,并发送至云服务器;
所述云服务器,还用于根据所述算法应用的标识信息向所述边缘设备发送匹配的算法程序包。
5.一种物联网视频数据处理方法,其特征在于,包括:
物联网边缘设备从至少一个与其连接的摄像机获取实时拍摄的视频数据;
所述边缘设备中与该摄像机匹配的算法应用对所述视频数据执行相应的运算分析后得到处理结果,将所述处理结果传送至物联网智能终端,使得智能终端根据所述处理结果向云服务器请求相应信息,根据请求到的相应信息和所述处理结果执行对应操作,将所述处理结果和执行的对应操作发送至所述云服务器,所述算法应用通过下述方式预先安装,所述边缘设备获取接入的摄像机的标识信息,将所述标识信息发送至所述智能终端或云服务器,接收云服务器发送的与所述标识信息匹配的算法程序包,安装所述算法程序包得到算法应用。
6.一种物联网视频数据处理方法,其特征在于,包括:
物联网智能终端接收边缘设备发送的视频数据的处理结果,所述视频数据是边缘设备从至少一个与其连接的摄像机获取的实时拍摄的视频数据,所述处理结果是边缘设备中与该摄像机匹配的算法应用对所述视频数据执行相应的运算分析后得到的处理结果,所述算法应用由所述边缘设备通过下述方式预先安装,所述边缘设备获取接入的摄像机的标识信息,将所述标识信息发送至所述智能终端或云服务器,接收云服务器发送的与所述标识信息匹配的算法程序包,安装所述算法程序包得到算法应用;
所述智能终端根据所述处理结果向云服务器请求相应信息,根据请求到的相应信息和所述处理结果执行对应操作,将所述处理结果和执行的对应操作发送至云服务器。
7.一种物联网视频数据处理装置,其特征在于,所述装置设置于物联网边缘设备,包括:
获取模块,用于从至少一个与其连接的摄像机获取实时拍摄的视频数据;
至少一个与所述摄像机匹配的算法应用模块,用于对所述视频数据执行相应的运算分析后得到处理结果,将所述处理结果传送至物联网智能终端,使得智能终端根据所述处理结果向云服务器请求相应信息,根据请求到的相应信息和所述处理结果执行对应操作,将所述处理结果和执行的对应操作发送至所述云服务器,所述算法应用通过下述方式预先安装,所述边缘设备获取接入的摄像机的标识信息,将所述标识信息发送至所述智能终端或云服务器,接收云服务器发送的与所述标识信息匹配的算法程序包,安装所述算法程序包得到算法应用。
8.一种物联网视频数据处理装置,其特征在于,所述装置设置于物联网智能终端,包括:
接收模块,用于接收边缘设备发送的视频数据的处理结果,所述视频数据是边缘设备从至少一个与其连接的摄像机获取的实时拍摄的视频数据,所述处理结果是边缘设备中与该摄像机匹配的算法应用对所述视频数据执行相应的运算分析后得到的处理结果,所述算法应用由所述边缘设备通过下述方式预先安装,所述边缘设备获取接入的摄像机的标识信息,将所述标识信息发送至所述智能终端或云服务器,接收云服务器发送的与所述标识信息匹配的算法程序包,安装所述算法程序包得到算法应用;
操作模块,用于根据所述接收模块接收的处理结果向云服务器请求相应信息,根据请求到的相应信息和所述处理结果执行对应操作;
发送模块,用于将所述接收模块接收的处理结果和所述操作模块执行的对应操作发送至云服务器。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110383522.4A CN113329205B (zh) | 2021-04-09 | 2021-04-09 | 物联网视频数据处理系统、方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110383522.4A CN113329205B (zh) | 2021-04-09 | 2021-04-09 | 物联网视频数据处理系统、方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113329205A CN113329205A (zh) | 2021-08-31 |
CN113329205B true CN113329205B (zh) | 2023-05-05 |
Family
ID=77414667
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110383522.4A Active CN113329205B (zh) | 2021-04-09 | 2021-04-09 | 物联网视频数据处理系统、方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113329205B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114137634A (zh) * | 2021-12-07 | 2022-03-04 | 中兴飞流信息科技有限公司 | 一种基于雷达视频融合的站台端头入侵检测方法及系统 |
CN114844873B (zh) * | 2022-04-11 | 2024-09-13 | 神马人工智能科技(深圳)有限公司 | 基于人工智能的物联网设备视听流实时处理系统 |
CN115474000A (zh) * | 2022-08-16 | 2022-12-13 | 支付宝(杭州)信息技术有限公司 | 数据处理方法及装置 |
CN116691769B (zh) * | 2023-05-05 | 2024-10-18 | 西门子交通技术(北京)有限公司 | 列车运行数据的处理方法、可读存储介质及列车 |
CN118646739B (zh) * | 2024-08-14 | 2024-12-03 | 天翼视联科技有限公司 | 视频监控终端的通信方法、电子装置和存储介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111260525A (zh) * | 2020-01-16 | 2020-06-09 | 深圳市广道高新技术股份有限公司 | 社区安全态势感知和预警方法、系统及存储介质 |
CN111479048A (zh) * | 2020-04-22 | 2020-07-31 | 安徽大学 | 一种基于边缘计算的智能视频图像处理设备 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10268983B2 (en) * | 2013-06-26 | 2019-04-23 | Amazon Technologies, Inc. | Detecting item interaction and movement |
US10944689B2 (en) * | 2018-06-29 | 2021-03-09 | Intel Corporation | Scalable edge computing |
CN111698470B (zh) * | 2020-06-03 | 2021-09-03 | 中科民盛安防(河南)有限公司 | 一种基于云边协同计算的安防视频监控系统及其实现方法 |
-
2021
- 2021-04-09 CN CN202110383522.4A patent/CN113329205B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111260525A (zh) * | 2020-01-16 | 2020-06-09 | 深圳市广道高新技术股份有限公司 | 社区安全态势感知和预警方法、系统及存储介质 |
CN111479048A (zh) * | 2020-04-22 | 2020-07-31 | 安徽大学 | 一种基于边缘计算的智能视频图像处理设备 |
Non-Patent Citations (1)
Title |
---|
刘伟 等.移动边缘计算中资源受限的串行任务卸载策略.软件学报.2020,(第06期),全文. * |
Also Published As
Publication number | Publication date |
---|---|
CN113329205A (zh) | 2021-08-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113329205B (zh) | 物联网视频数据处理系统、方法和装置 | |
CN113220715B (zh) | 一种数据处理方法、系统、计算机及可读存储介质 | |
CN108810086A (zh) | 一种基于mqtt消息协议的智能设备通讯平台 | |
US20090228547A1 (en) | Server apparatus and communication system | |
CN102520936A (zh) | 一种在Android上实现Socket通讯服务共享的方法 | |
CN107146623B (zh) | 基于人工智能的语音识别方法、装置和系统 | |
CN112637200B (zh) | 一种松耦合的视频目标跟踪实现方法 | |
CN112910744A (zh) | 智能设备控制方法及装置、存储介质及电子设备 | |
CN112379963A (zh) | 远程应用窗口控制方法、装置及计算机设备 | |
CN101707622A (zh) | 实现远程数据监控的方法 | |
CN104703301A (zh) | 一种多业务接入系统和多业务接入控制方法 | |
CN107959704A (zh) | 一种数据处理方法及家庭网关 | |
WO2024260194A1 (zh) | 一种信息处理系统、方法、装置和产品 | |
US10643039B2 (en) | Location based situation awareness system and method thereof | |
CN107800999A (zh) | 一种混合接入摄像机和视频平台的方法和系统 | |
CN102404621A (zh) | 机顶盒、epg服务器及epg页面适配的方法、系统 | |
CN111092952A (zh) | 一种数据交互方法及相关产品 | |
CN113835789A (zh) | 渲染方法、装置、电子设备及计算机存储介质 | |
CN111787221A (zh) | 图像采集方法、装置、系统、设备和计算机存储介质 | |
CN115052003B (zh) | 数据同步方法、相关装置和介质 | |
CN106874004A (zh) | 低版本软件兼容高版本文件的方法以及客户端和服务器 | |
KR100945563B1 (ko) | Rfid 미들웨어 시스템 및 방법 | |
CN111639670A (zh) | 机场开放数据交换平台 | |
CN106445694A (zh) | 一种应用程序访问方法、装置及系统 | |
CN114077409A (zh) | 投屏方法及装置、电子设备和计算机可读介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |