CN105045820A - 一种处理海量级数据的视频图像信息的方法及数据库系统 - Google Patents
一种处理海量级数据的视频图像信息的方法及数据库系统 Download PDFInfo
- Publication number
- CN105045820A CN105045820A CN201510362447.8A CN201510362447A CN105045820A CN 105045820 A CN105045820 A CN 105045820A CN 201510362447 A CN201510362447 A CN 201510362447A CN 105045820 A CN105045820 A CN 105045820A
- Authority
- CN
- China
- Prior art keywords
- data
- video image
- distributed
- image information
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 84
- 238000012545 processing Methods 0.000 title claims abstract description 75
- 238000004458 analytical method Methods 0.000 claims abstract description 38
- 230000008569 process Effects 0.000 claims description 63
- 230000006870 function Effects 0.000 claims description 14
- 238000000605 extraction Methods 0.000 claims description 10
- 238000007405 data analysis Methods 0.000 claims description 8
- 239000000284 extract Substances 0.000 claims description 8
- 238000006073 displacement reaction Methods 0.000 claims description 7
- 238000000547 structure data Methods 0.000 claims description 7
- 238000004891 communication Methods 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 abstract description 11
- 230000007246 mechanism Effects 0.000 abstract description 3
- 238000005111 flow chemistry technique Methods 0.000 abstract 1
- 238000007726 management method Methods 0.000 description 12
- 238000012544 monitoring process Methods 0.000 description 8
- 238000011160 research Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 230000004069 differentiation Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 102100033075 Prostacyclin synthase Human genes 0.000 description 1
- 101710179550 Prostacyclin synthase Proteins 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003032 molecular docking Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/182—Distributed file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/26—Government or public services
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Tourism & Hospitality (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Educational Administration (AREA)
- Development Economics (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供了一种处理海量级数据的视频图像信息的方法及相应的数据库系统。本发明利用大数据处理技术，实现海量级视频图像信息数据的处理、存储、交换与分析应用。对于海量级视频图像信息，本发明以事件为核心，通过定义视频图像的事件内容，形成基于事件内容的结构化和/或非结构化数据，从而在视频流的基础上建立了视频图像内容信息流。进而，本发明的数据库系统为视频图像信息及基于事件内容的结构化和/或非结构化数据构建了分布式存储平台和分布式并行分析处理机制，从而对视频图像内容信息流实现了实时流处理。本发明实现视频图像信息数据共享交换，克服了数据孤岛，增强了数据的深化应用。
Description
技术领域
本发明涉及与视频相关的信息技术领域，尤其涉及一种处理海量级数据的视频图像信息的方法及数据库系统。
背景技术
视频图像信息资源是一项非常重要的城市管理基础资源。例如，公安机关可依托视频监控系统采集视频图像信息，并基于视频监控及时开展治安防控和打击。
然而，传统视频监控系统功能有限，对于视频信息缺乏对与公安实战紧密结合的功能的深度挖掘，难以支持差异化的视频监控深化应用需求。这些系统当前存在的矛盾和问题主要体现在：一、由于监控系统广域布设，使得采集的涉案视频信息资源基本都分散在办案民警手中，形成了众多的信息孤岛，不便资源的共享，也不利于不同地区和不同案件侦查中串并案分析处理。有些系统虽然通过对广域范围内视频监控系统的集中整合，完成了对视频信息资源的统一存储，但是会形成海量的视频图像信息，导致日后对视频图像信息的应用非常困难，很难提取出有用视频信息。二、电子警察、智能卡口系统等监控手段与视频监控系统还没实现有机融合，应用效能没有完全释放。三、视频信息应用需要跟公安机关的其它信息化系统对接才能够发挥更大的作用，比如PGIS、打防控系统、人口信息、车辆信息等；现有技术缺乏能将视频信息应用与公安实战业务紧密结合的信息化系统，难以支持不同警种差异化的视频信息应用需求。
现有技术存在上述问题，其核心的瓶颈在于，由于视频图像信息资源的数据量大，数据类型、编码协议和文件格式都呈现多样异构特征，数据多为结构化和非结构化混合数据，而现有技术缺乏对海量存储的视频图像信息进行统一管理和有效处理的机制，这就使得系统无法承载直接针对海量视频信息进行运算所带来的负荷，也无法实现在海量视频资源的基础上实现与其它信息的整合应用，对外不能提供可用性和兼容性强的接口。
因而，为了满足现有的公安管理需要，迫切需要一套能够支撑海量级数据的视频图像信息数据库系统，可以管理海量级的视频图像信息资源并实现应用。该视频图像信息数据库系统应当是一个提供除传统连续视频流以外的视频图像内容信息流的存储和相应服务的新的基础设施，与公安实战应用能够深度结合，基于视频图像信息可以形成深化应用服务功能的支撑平台。
发明内容
为了克服上述现有技术存在的缺陷，本发明提供了一种处理海量级数据的视频图像信息的方法及相应的数据库系统。本发明利用大数据处理技术，实现海量级视频图像信息数据的处理、存储、交换与分析应用。对于海量级视频图像信息，本发明以事件为核心，通过定义视频图像的事件内容，形成基于事件内容的结构化和/或非结构化数据，从而在视频流的基础上建立了视频图像内容信息流。进而，本发明的数据库系统为视频图像信息及基于事件内容的结构化和/或非结构化数据构建了分布式存储平台和分布式并行分析处理机制，从而对视频图像内容信息流实现了实时流处理。本发明的数据库系统对外提供了统一的数据交换接口，能够支撑面向视频图像信息对象应用的相关服务功能。
本发明提供了一种处理海量级数据的视频图像信息数据库系统，其特征在于，包括：
采集接口，处于视频图像信息数据库系统的底层，作为采集前端系统与该视频图像信息数据库之间的服务接口，主要功能是用于在联网通信的基础上将视频图像信息实时写入视频图像信息数据库；
实时流处理引擎，从底层的采集接口获得采集的视频图像信息数据，生成分布式信息队列，并且为分布式信息队列实现实时和非实时视频图像信息数据的派发，以及用于对视频图像信息数据的流处理生成基于事件内容的视频图像内容信息流；
分布式存储平台，基于分布式文件系统实现结构化和非结构化数据的分布式存储，所述分布式存储平台包括若干分布式存储节点，并且在分布式存储平台的每个分布式存储节点上，根据事件内容之间的关联性，同时放置结构化数据以及非结构化数据；
分布式内存分析层，具有请求解析调度单元，该请求解析调度单元对异构数据的查询分析请求进行解析并制定数据处理计算的优化分布调度方式，按照查询分析请求的数据对象所在位置调度数据处理计算，将数据分析处理计算分布到各数据存储节点上，实现海量数据的并行分析处理；
数据交换接口，用于实现视频图像信息数据共享交换；对于应用层的各种应用平台，可以通过相应的数据交换接口调用视频图像信息数据，对案件、事件、视频、图片等信息进行新增、修改、删除、查询操作。
优选的是，所述实时流处理引擎将从采集接口获得的视频图像信息数据流按照其数据特征和实时性要求被分配给相应的分布式信息队列；分布式信息队列包括实时性信息队列和非实时性信息队列；实时性信息队列可调用的分布式数据处理资源能够实现对该队列中的视频图像信息数据流的处理时间在预定时间延迟阈值以内，非实时性信息队列调用的分布式数据处理资源对视频图像信息数据流的处理时间允许具有相对实时性信息队列更长的延迟；并且，所述分布式信息队列还包括结构化信息队列和非结构化信息队列；结构化信息队列实现对具有结构化数据格式的视频图像信息数据流的处理，而非结构化信息队列实现对非结构化数据格式的视频图像信息数据流的处理。
优选的是，所述分布式存储平台以基于事件内容的视频图像内容信息流作为数据源，通过至少一个数据分配节点实现到各个分布式存储节点的分配；所述数据分配节点提取视频图像内容信息流当中的事件内容描述信息，并且通过该事件内容描述信息分析当前的视频图像内容信息相关联的事件与各个分布式存储节点已有的事件之间的相关度，从而决定为当前视频图像内容信息所分配的分布式存储节点。
优选的是，所述分布式存储节点对于所分配的结构化数据和非结构化数据，按照预定的文件格式进行存储生成分布式文件系统，并且分布式存储节点提取结构化数据和非结构化数据当中的关键信息，形成链接到各个视频图像内容信息的关键信息索引，以关键信息索引作为数据项，构建分布式索引数据库；基于各个分布式索引数据库，分布式存储平台提供分布式资源管理框架接口，利用该分布式资源管理框架接口调用各分布式索引数据库。
优选的是，所述数据交换接口包括案件应用接口、事件应用接口、视频应用接口、图像应用接口、编程接口、文件接口以及其它接口。
本发明进而提供了一种处理海量级数据的视频图像信息的方法，包括：
视频图像数据的前端采集步骤，基于智能设备实现视频图像信息的采集，从而通过统一的接口将视频图像信息数据上传到视频图像信息数据库系统；
视频图像信息数据的实时流处理步骤，调用数据库系统的实时流处理引擎，从底层的采集接口获得采集的视频图像信息数据，生成分布式信息队列，将从采集接口获得的视频图像信息数据流按照其数据特征和实时性要求被分配给相应的信息队列，为分布式信息队列实现实时和非实时海量信息数据的派发，并且实现对信息数据的流处理生成基于事件内容的视频图像内容信息流；
基于事件的视频图像内容信息流分布式存储步骤，基于事件内容的视频图像内容信息流作为数据源，通过至少一个数据分配节点的数据分配步骤实现到各个分布式存储节点的分配，并且数据分配步骤在每个分布式存储节点上同时放置结构化数据以及非结构化数据；
分布式任务分配和并行分析处理步骤，对异构数据的查询分析请求进行解析并制定数据处理计算的优化分布调度方式，按照查询分析的数据对象所在位置调度数据处理计算，将数据分析处理计算分布到各数据存储节点上，实现海量数据的并行分析处理；
视频图像内容信息的查询分析应用步骤，由应用层的各种应用平台通过相应的数据交换接口调用视频图像信息数据，对案件、事件、视频、图片等信息进行新增、修改、删除、查询操作。
优选的是，所述实时流处理步骤将从采集接口获得的视频图像信息数据流按照其数据特征和实时性要求被分配给相应的分布式信息队列；分布式信息队列包括实时性信息队列和非实时性信息队列；实时性信息队列可调用的分布式数据处理资源能够实现对该队列中的视频图像信息数据流的处理时间在预定时间延迟阈值以内，非实时性信息队列调用的分布式数据处理资源对视频图像信息数据流的处理时间允许具有相对实时性信息队列更长的延迟；并且，所述分布式信息队列还包括结构化信息队列和非结构化信息队列；结构化信息队列实现对具有结构化数据格式的视频图像信息数据流的处理，而非结构化信息队列实现对非结构化数据格式的视频图像信息数据流的处理。
优选的是，基于事件的视频图像内容信息流分布式存储步骤以基于事件内容的视频图像内容信息流作为数据源，通过至少一个数据分配节点实现到各个分布式存储节点的分配；所述数据分配节点提取视频图像内容信息流当中的事件内容描述信息，并且通过该事件内容描述信息分析当前的视频图像内容信息相关联的事件与各个分布式存储节点已有的事件之间的相关度，从而决定为当前视频图像内容信息所分配的分布式存储节点。
优选的是，所述基于事件的视频图像内容信息流分布式存储步骤中，对于所分配的结构化数据和非结构化数据，按照预定的文件格式进行存储生成分布式文件系统，并且分布式存储节点提取结构化数据和非结构化数据当中的关键信息，形成链接到各个视频图像内容信息的关键信息索引，以关键信息索引作为数据项，构建分布式索引数据库；基于各个分布式索引数据库，分布式存储平台提供分布式资源管理框架接口，利用该分布式资源管理框架接口调用各分布式索引数据库。
优选的是，视频图像内容信息的查询分析应用步骤采用的数据交换接口包括案件应用接口、事件应用接口、视频应用接口、图像应用接口、编程接口、文件接口以及其它接口。
从而，本发明的系统和方法利用大数据平台高扩展性和高性能可以克服视频图像信息数据处理的规模不断增长和实时性需求，整合了面向海量非结构化视频、图像数据的云存储和基于云计算的数据并行处理技术，以及横向扩展的MPP关系数据库存储和无共享大规模并行数据流处理技术，可以实现不同类型的大数据统一分析处理，解决多源异构的大数据处理的复杂性问题。本发明提供统一的视频图像信息数据接口，实现视频图像信息数据共享交换，克服了数据孤岛，增强了数据的深化应用。
附图说明
图1为本发明处理海量级数据的视频图像信息数据库系统的整体结构示意图；
图2为本发明视频图像内容信息流的流结构示意图；
图3为本发明的分布式存储平台架构示意图；
图4为本发明处理海量级数据的视频图像信息的方法流程图。
具体实施方式
下面通过实施例，并结合附图，对本发明的技术方案做进一步具体的说明。
本发明提供了一种处理海量级数据的视频图像信息的方法及相应的数据库系统。面向具有海量级数据的视频图像信息，特别是针对视频图像信息的格式呈现多样异构、数据多为结构化和非结构化混合的特点，本发明根据产生原因定义针对视频图像信息的事件内容，进而形成基于事件内容的结构化和/或非结构化数据，从而在原始的视频图像信息流的基础上结合所定义的事件建立了视频图像内容信息流。本发明采用了实时流处理引擎执行视频图像信息流的上述处理，形成基于事件的视频图像内容信息流。该视频图像内容信息流被传输到分布式存储平台进行存储，并且通过分布式内存分析技术实现了分布式任务分配和并行分析处理，从而提高了视频图像信息资源的可用性以及处理应用的实时性，使之能够作为一种可用性强的信息资源，支撑以视频图像信息作为目标对象的应用，提供相关服务功能。
图1示出了本发明的处理海量级数据的视频图像信息数据库系统的整体结构示意图。所述视频图像信息数据库系统连接下层的采集前端系统，并且在该视频图像信息数据库系统的基础上建立了位于其上层的应用层。
采集前端系统基于智能设备实现视频图像信息的采集，并且该采集前端系统进行数据的传输，从而通过统一的接口将视频图像信息数据上传到视频图像信息数据库系统。用于实现该采集前端系统的智能设备包括用于执行监控功能的视频摄像设备，以及与视频摄像设备相配套的有线或者无线联网设备。各采集前端系统在地域空间上呈广域分布，并且可以提供不同类型和结构的视频图像信息数据，例如视频图像具有不同的图像格式以及不同的附加信息。
采集接口处于视频图像信息数据库系统的底层，作为采集前端系统与该视频图像信息数据库之间的服务接口，主要功能是在联网通信的基础上将视频图像信息实时写入视频图像信息数据库。
实时流处理引擎从底层的采集接口获得采集的视频图像信息数据，生成分布式信息队列，满足实时和非实时海量信息数据的派发，并且实现对信息数据的流处理。实时流处理引擎建立和管理维护若干数量的信息队列，这些信息队列由分布式的数据处理资源进行运算处理。从采集接口获得的视频图像信息数据流按照其数据特征和实时性要求被分配给相应的信息队列。信息队列包括实时性信息队列和非实时性信息队列；实时性信息队列可调用的分布式数据处理资源能够实现对该队列中的视频图像信息数据流的处理时间在预定时间延迟阈值以内，从而可应用于具有较高的时间性要求的视频信息应用；非实时性信息队列调用的分布式数据处理资源对视频图像信息数据流的处理时间则允许具有相对更长的延迟，从而可以相应减少对非实时性信息队列的处理资源投入，以便达到资源的节约和平衡。根据视频图像信息数据流的结构化和非结构化特征，可以建立结构化信息队列和非结构化信息队列；结构化信息队列实现对具有结构化数据格式的视频图像信息数据流的处理，而非结构化信息队列实现对非结构化数据格式的视频图像信息数据流的处理。
针对结构化和非结构化的视频图像信息流，实时流处理引擎的流处理包括对其中视频片段和图片文件进行内容提取和标注，从而根据视频片段和图片的产生原因定义视频图像信息的事件内容，进而形成基于事件内容的结构化和/或非结构化数据，从而在原始的视频图像信息流的基础上结合所定义的事件建立了视频图像内容信息流。如图2所示，视频图像内容信息流包括事件内容描述信息以及与该事件内容描述信息关联的视频图像。所述事件内容描述信息是在实时流处理引擎的流处理过程当中所定义的，该事件内容描述信息包括对与之关联的视频片段和图片的事件内容的描述，例如事件的发生时间、事件的类型等。事件内容描述信息通过帧序列号关联到视频图像信息流当中的视频片段和图片。因而，不论原始的视频图像信息是结构化的还是非结构化的，均可以通过关联到事件内容描述信息而形成具有统一形式的视频图像内容信息流，并在该视频图像内容信息流的基础上执行信息存储和应用。
实时流处理引擎对事件内容描述信息的定义过程中，首先执行对结构化和非结构化的视频图像信息流的帧抽样，从视频片段当中抽取若干关键帧图像，可以利用场景识别技术从视频图像信息流当中判断出不同的场景，进而对于每个场景下的视频片段抽取相应的关键帧图像；视频图像信息流当中的静态图片可以直接作为关键帧图像使用。对于被抽取的关键帧图像，进而实现内容提取以及事件内容描述信息的定义。对于结构化的视频图像信息，实时流处理引擎通过检索与关键帧图像关联的标签、描述信息、附加信息等结构化数据，获得事件内容描述信息。对于非结构化的视频图像信息，实时流处理引擎可以执行自动、半自动以及人工的内容提取和标注，从而由非结构化的视频图像信息当中生成事件内容描述信息。
对于经实时流处理引擎生成的基于事件内容的视频图像内容信息流，本发明构建了高可扩展性的海量结构化和非结构化数据的分布式存储平台。在该分布式存储平台当中，采用横向扩展的MPP关系数据库架构，基于分布式文件系统实现结构化和非结构化数据的分布式存储。在分布式存储平台的每个分布式存储节点上，根据事件内容之间的关联性，同时放置结构化数据以及非结构化数据，以便实现异构数据的协调分析处理。
MPP关系数据库是随着大数据分析需求增长、互联网技术发展以及服务器小型化趋势而产生的大规模并行处理系统。该系统由众多松耦合的节点构成，各节点具有自身的数据存储资源以及私用的运算处理资源，实现数据的分布式存储、任务的并行执行以及分布式计算功能。
如图3所示的分布式存储平台架构，基于事件内容的视频图像内容信息流作为数据源，通过至少一个数据分配节点实现到各个分布式存储节点的分配。数据分配节点提取视频图像内容信息流当中的事件内容描述信息，并且通过该事件内容描述信息分析当前的视频图像内容信息相关联的事件与各个分布式存储节点已有的事件之间的相关度，从而决定为当前视频图像内容信息所分配的分布式存储节点。例如，数据分配节点可根据事件类型，将具有相同或者相近事件类型的视频图像内容信息分配到同一个或者几个分布式存储节点。数据分配节点的数据分配一方面基于事件内容的相关度，另一方面也需要考虑数据运算负荷的均衡化。由于非结构化数据的分析运算一般会消耗相对更多的资源，因此数据分配节点会在每个分布式存储节点上同时放置结构化数据以及非结构化数据，以便实现异构数据的协调分析处理。具体来说，数据分配节点执行并行的结构化数据分配线程和非结构化数据分配线程，按照上述事件内容相关度，将结构化和非结构化数据分别分配给各个分布式存储节点。
各个数据分布式存储节点对于所分配的结构化数据和非结构化数据，按照预定的文件格式进行存储生成分布式文件系统。并且分布式存储节点从不同的维度上提取结构化数据和非结构化数据当中的关键信息，形成链接到各个视频图像内容信息的关键信息索引，以关键信息索引作为数据项，构建了系统资源库、事件资源库、案件资源库、智能设备库、安全管理库等分布式索引数据库。基于各个分布式索引数据库，分布式存储平台提供了分布式资源管理框架接口，利用该框架接口调用各分布式索引数据库，能够实现分布式资源集群和工作流调度，提供分布式批处理，实现分布式的事件处理、全文搜索以及图像检索等功能。
在分布式存储平台的基础上，系统提供了分布式内存分析层。该分布式内存分析层提供了OLAP高速查询分析、交互式分析能力，具有内存列式库，支持PL/SQL以及R语言，因此能够支持更强的统计分析能力。分布式内存分析层具有请求解析调度单元，该单元对异构数据的查询分析请求进行解析并制定数据处理计算的优化分布调度方式，按照查询分析的数据对象所在位置调度数据处理计算，将数据分析处理计算分布到各数据存储节点上，实现海量数据的并行分析处理，实现了海量结构化、非结构化数据的分布式并行分析处理。
在内存分析层之上，系统进一步提供了面向应用层的统一的数据交换接口，实现视频图像信息数据共享交换。对于应用层的各种应用平台，可以通过相应的数据交换接口调用视频图像信息数据，对案件、事件、视频、图片等信息进行新增、修改、删除、查询操作。所述数据交换接口可以包括案件应用接口、事件应用接口、视频应用接口、图像应用接口、编程接口、文件接口以及其它接口。从而，通过提供视频图像信息数据的分析处理功能，结合多种报表工具，提供了交互式数据分析、即时报表和可视化能力。
通过本发明提供的处理海量级数据的视频图像信息的数据库系统，在应用层可以相应构建视频图像信息应用平台、大数据分析应用工具以及其它应用平台和资源库。能够满足公安社会管理实战当中对海量级的视频图像信息资源的应用需要，针对视频图像信息数据，提供实时布控、告警以及共享交换功能。
本发明在上述视频图像信息数据库系统的基础上，如图4所示，提供了一种处理海量级数据的视频图像信息的方法，包括视频图像信息数据的前端采集步骤，视频图像信息数据的实时流处理步骤、基于事件的视频图像内容信息流分布式存储步骤、分布式任务分配和并行分析处理步骤以及视频图像内容信息的查询分析应用步骤。
视频图像数据的前端采集步骤中，基于智能设备实现视频图像信息的采集，从而通过统一的接口将视频图像信息数据上传到视频图像信息数据库系统。负责视频图像信息采集的各采集前端系统在地域空间上呈广域分布，并且可以提供不同类型和结构的视频图像信息数据，例如视频图像具有不同的图像格式以及不同的附加信息。
视频图像信息数据的实时流处理步骤中，调用数据库系统的实时流处理引擎，从底层的采集接口获得采集的视频图像信息数据，生成分布式信息队列，将从采集接口获得的视频图像信息数据流按照其数据特征和实时性要求被分配给相应的信息队列，满足实时和非实时海量信息数据的派发，并且实现对信息数据的流处理。信息队列可以包括实时性信息队列和非实时性信息队列；实时性信息队列可调用的分布式数据处理资源能够实现对该队列中的视频图像信息数据流的处理时间在预定时间延迟阈值以内，从而可应用于具有较高的时间性要求的视频信息应用；非实时性信息队列调用的分布式数据处理资源对视频图像信息数据流的处理时间则允许具有相对更长的延迟。根据视频图像信息数据流的结构化和非结构化特征，可以建立结构化信息队列和非结构化信息队列；结构化信息队列实现对具有结构化数据格式的视频图像信息数据流的处理，而非结构化信息队列实现对非结构化数据格式的视频图像信息数据流的处理。
实时流处理步骤包括对其中视频片段和图片文件进行内容提取和标注，从而根据视频片段和图片的产生原因定义视频图像信息的事件内容，进而形成基于事件内容的结构化和/或非结构化数据，从而在原始的视频图像信息流的基础上结合所定义的事件建立了视频图像内容信息流。视频图像内容信息流包括事件内容描述信息以及与该事件内容描述信息关联的视频图像。所述事件内容描述信息是在实时流处理引擎的流处理过程当中所定义的，该事件内容描述信息包括对与之关联的视频片段和图片的事件内容的描述，例如事件的发生时间、事件的类型等。事件内容描述信息通过帧序列号关联到视频图像信息流当中的视频片段和图片。在对事件内容描述信息的定义过程中，首先执行对结构化和非结构化的视频图像信息流的帧抽样，从视频片段当中抽取若干关键帧图像，可以利用场景识别技术从视频图像信息流当中判断出不同的场景，进而对于每个场景下的视频片段抽取相应的关键帧图像；视频图像信息流当中的静态图片可以直接作为关键帧图像使用。对于被抽取的关键帧图像，进而实现内容提取以及事件内容描述信息的定义。对于结构化的视频图像信息，实时流处理通过检索与关键帧图像关联的标签、描述信息、附加信息等结构化数据，获得事件内容描述信息。对于非结构化的视频图像信息，实时流处理可以执行自动、半自动以及人工的内容提取和标注，从而由非结构化的视频图像信息当中生成事件内容描述信息。
基于事件的视频图像内容信息流分布式存储步骤中，基于事件内容的视频图像内容信息流作为数据源，通过至少一个数据分配节点的数据分配步骤实现到各个分布式存储节点的分配。数据分配节点提取视频图像内容信息流当中的事件内容描述信息，并且通过该事件内容描述信息分析当前的视频图像内容信息相关联的事件与各个分布式存储节点已有的事件之间的相关度，从而决定为当前视频图像内容信息所分配的分布式存储节点。例如，数据分配节点可根据事件类型，将具有相同或者相近事件类型的视频图像内容信息分配到同一个或者几个分布式存储节点。数据分配节点的数据分配步骤一方面基于事件内容的相关度，另一方面也需要考虑数据运算负荷的均衡化，因此数据分配节点会在每个分布式存储节点上同时放置结构化数据以及非结构化数据，以便实现异构数据的协调分析处理。具体来说，数据分配步骤中执行并行的结构化数据分配线程和非结构化数据分配线程，按照上述事件内容相关度，将结构化和非结构化数据分别分配给各个分布式存储节点。
各个数据分布式存储节点对于所分配的结构化数据和非结构化数据，按照预定的文件格式进行存储生成分布式文件系统。并且分布式存储节点从不同的维度上提取结构化数据和非结构化数据当中的关键信息，形成链接到各个视频图像内容信息的关键信息索引，以关键信息索引作为数据项，构建了系统资源库、事件资源库、案件资源库、智能设备库、安全管理库等分布式索引数据库。基于各个分布式索引数据库，可以利用分布式资源管理框架接口调用各分布式索引数据库，能够实现分布式资源集群和工作流调度，提供分布式批处理，实现分布式的事件处理、全文搜索以及图像检索等功能。
分布式任务分配和并行分析处理步骤当中，对异构数据的查询分析请求进行解析并制定数据处理计算的优化分布调度方式，按照查询分析的数据对象所在位置调度数据处理计算，将数据分析处理计算分布到各数据存储节点上，实现了海量结构化、非结构化数据的分布式并行分析处理。
视频图像内容信息的查询分析应用步骤中，应用层的各种应用平台可以通过相应的数据交换接口调用视频图像信息数据，对案件、事件、视频、图片等信息进行新增、修改、删除、查询操作。所述数据交换接口可以包括案件应用接口、事件应用接口、视频应用接口、图像应用接口、编程接口、文件接口以及其它接口。从而，通过提供视频图像信息数据的分析处理功能，结合多种报表工具，提供了交互式数据分析、即时报表和可视化能力。
从而，本发明的系统和方法利用大数据平台高扩展性和高性能可以克服视频图像信息数据处理的规模不断增长和实时性需求，整合了面向海量非结构化视频、图像数据的云存储和基于云计算的数据并行处理技术，以及横向扩展的MPP关系数据库存储和无共享大规模并行数据流处理技术，可以实现不同类型的大数据统一分析处理，解决多源异构的大数据处理的复杂性问题。本发明提供统一的视频图像信息数据接口，实现视频图像信息数据共享交换，克服了数据孤岛，增强了数据的深化应用。
以上实施例仅用于说明本发明，而并非对本发明的限制，有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本发明的范畴，本发明的专利保护范围应由权利要求限定。
Claims (10)
1.一种处理海量级数据的视频图像信息数据库系统，其特征在于，包括：
采集接口，处于视频图像信息数据库系统的底层，作为采集前端系统与该视频图像信息数据库之间的服务接口，主要功能是用于在联网通信的基础上将视频图像信息实时写入视频图像信息数据库；
实时流处理引擎，从底层的采集接口获得采集的视频图像信息数据，生成分布式信息队列，并且为分布式信息队列实现实时和非实时视频图像信息数据的派发，以及用于对视频图像信息数据的流处理生成基于事件内容的视频图像内容信息流；
分布式存储平台，基于分布式文件系统实现结构化和非结构化数据的分布式存储，所述分布式存储平台包括若干分布式存储节点，并且在分布式存储平台的每个分布式存储节点上，根据事件内容之间的关联性，同时放置结构化数据以及非结构化数据；
分布式内存分析层，具有请求解析调度单元，该请求解析调度单元对异构数据的查询分析请求进行解析并制定数据处理计算的优化分布调度方式，按照查询分析请求的数据对象所在位置调度数据处理计算，将数据分析处理计算分布到各数据存储节点上，实现海量数据的并行分析处理；
数据交换接口，用于实现视频图像信息数据共享交换；对于应用层的各种应用平台，可以通过相应的数据交换接口调用视频图像信息数据，对案件、事件、视频、图片等信息进行新增、修改、删除、查询操作。
2.根据权利要求1所述的处理海量级数据的视频图像信息数据库系统，其特征在于，所述实时流处理引擎将从采集接口获得的视频图像信息数据流按照其数据特征和实时性要求被分配给相应的分布式信息队列；分布式信息队列包括实时性信息队列和非实时性信息队列；实时性信息队列可调用的分布式数据处理资源能够实现对该队列中的视频图像信息数据流的处理时间在预定时间延迟阈值以内，非实时性信息队列调用的分布式数据处理资源对视频图像信息数据流的处理时间允许具有相对实时性信息队列更长的延迟；并且，所述分布式信息队列还包括结构化信息队列和非结构化信息队列；结构化信息队列实现对具有结构化数据格式的视频图像信息数据流的处理，而非结构化信息队列实现对非结构化数据格式的视频图像信息数据流的处理。
3.根据权利要求2所述的处理海量级数据的视频图像信息数据库系统，其特征在于，所述分布式存储平台以基于事件内容的视频图像内容信息流作为数据源，通过至少一个数据分配节点实现到各个分布式存储节点的分配；所述数据分配节点提取视频图像内容信息流当中的事件内容描述信息，并且通过该事件内容描述信息分析当前的视频图像内容信息相关联的事件与各个分布式存储节点已有的事件之间的相关度，从而决定为当前视频图像内容信息所分配的分布式存储节点。
4.根据权利要求3所述的处理海量级数据的视频图像信息数据库系统，其特征在于，所述分布式存储节点对于所分配的结构化数据和非结构化数据，按照预定的文件格式进行存储生成分布式文件系统，并且分布式存储节点提取结构化数据和非结构化数据当中的关键信息，形成链接到各个视频图像内容信息的关键信息索引，以关键信息索引作为数据项，构建分布式索引数据库；基于各个分布式索引数据库，分布式存储平台提供分布式资源管理框架接口，利用该分布式资源管理框架接口调用各分布式索引数据库。
5.根据权利要求4所述的处理海量级数据的视频图像信息数据库系统，其特征在于，所述数据交换接口包括案件应用接口、事件应用接口、视频应用接口、图像应用接口、编程接口、文件接口以及其它接口。
6.一种处理海量级数据的视频图像信息的方法，包括：
视频图像数据的前端采集步骤，基于智能设备实现视频图像信息的采集，从而通过统一的接口将视频图像信息数据上传到视频图像信息数据库系统；
视频图像信息数据的实时流处理步骤，调用数据库系统的实时流处理引擎，从底层的采集接口获得采集的视频图像信息数据，生成分布式信息队列，将从采集接口获得的视频图像信息数据流按照其数据特征和实时性要求被分配给相应的信息队列，为分布式信息队列实现实时和非实时海量信息数据的派发，并且实现对信息数据的流处理生成基于事件内容的视频图像内容信息流；
基于事件的视频图像内容信息流分布式存储步骤，基于事件内容的视频图像内容信息流作为数据源，通过至少一个数据分配节点的数据分配步骤实现到各个分布式存储节点的分配，并且数据分配步骤在每个分布式存储节点上同时放置结构化数据以及非结构化数据；
分布式任务分配和并行分析处理步骤，对异构数据的查询分析请求进行解析并制定数据处理计算的优化分布调度方式，按照查询分析的数据对象所在位置调度数据处理计算，将数据分析处理计算分布到各数据存储节点上，实现海量数据的并行分析处理；
视频图像内容信息的查询分析应用步骤，由应用层的各种应用平台通过相应的数据交换接口调用视频图像信息数据，对案件、事件、视频、图片等信息进行新增、修改、删除、查询操作。
7.根据权利要求6所述的处理海量级数据的视频图像信息的方法，其特征在于，所述实时流处理步骤将从采集接口获得的视频图像信息数据流按照其数据特征和实时性要求被分配给相应的分布式信息队列；分布式信息队列包括实时性信息队列和非实时性信息队列；实时性信息队列可调用的分布式数据处理资源能够实现对该队列中的视频图像信息数据流的处理时间在预定时间延迟阈值以内，非实时性信息队列调用的分布式数据处理资源对视频图像信息数据流的处理时间允许具有相对实时性信息队列更长的延迟；并且，所述分布式信息队列还包括结构化信息队列和非结构化信息队列；结构化信息队列实现对具有结构化数据格式的视频图像信息数据流的处理，而非结构化信息队列实现对非结构化数据格式的视频图像信息数据流的处理。
8.根据权利要求7所述的处理海量级数据的视频图像信息的方法，其特征在于，基于事件的视频图像内容信息流分布式存储步骤以基于事件内容的视频图像内容信息流作为数据源，通过至少一个数据分配节点实现到各个分布式存储节点的分配；所述数据分配节点提取视频图像内容信息流当中的事件内容描述信息，并且通过该事件内容描述信息分析当前的视频图像内容信息相关联的事件与各个分布式存储节点已有的事件之间的相关度，从而决定为当前视频图像内容信息所分配的分布式存储节点。
9.根据权利要求8所述的处理海量级数据的视频图像信息的方法，其特征在于，所述基于事件的视频图像内容信息流分布式存储步骤中，对于所分配的结构化数据和非结构化数据，按照预定的文件格式进行存储生成分布式文件系统，并且分布式存储节点提取结构化数据和非结构化数据当中的关键信息，形成链接到各个视频图像内容信息的关键信息索引，以关键信息索引作为数据项，构建分布式索引数据库；基于各个分布式索引数据库，分布式存储平台提供分布式资源管理框架接口，利用该分布式资源管理框架接口调用各分布式索引数据库。
10.根据权利要求9所述的处理海量级数据的视频图像信息的方法，其特征在于，视频图像内容信息的查询分析应用步骤采用的数据交换接口包括案件应用接口、事件应用接口、视频应用接口、图像应用接口、编程接口、文件接口以及其它接口。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510362447.8A CN105045820B (zh) | 2015-06-25 | 2015-06-25 | 一种处理海量级数据的视频图像信息的方法及数据库系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510362447.8A CN105045820B (zh) | 2015-06-25 | 2015-06-25 | 一种处理海量级数据的视频图像信息的方法及数据库系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105045820A true CN105045820A (zh) | 2015-11-11 |
| CN105045820B CN105045820B (zh) | 2020-10-16 |
Family
ID=54452367
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510362447.8A Active CN105045820B (zh) | 2015-06-25 | 2015-06-25 | 一种处理海量级数据的视频图像信息的方法及数据库系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105045820B (zh) |
Cited By (29)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105630903A (zh) * | 2015-12-21 | 2016-06-01 | 中国电子科技集团公司第十五研究所 | 一种海量数据快速存储的方法和装置 |
| CN105701738A (zh) * | 2016-03-30 | 2016-06-22 | 上海上实龙创智慧能源科技股份有限公司 | 一种区域建筑能耗平台数据采集处理方法及装置 |
| CN105959621A (zh) * | 2016-04-28 | 2016-09-21 | 泰华智慧产业集团股份有限公司 | 基于多源视频结构化数据的准实时布控系统及方法 |
| CN106230768A (zh) * | 2016-06-16 | 2016-12-14 | 北京数智源科技股份有限公司 | 结构化视频管理系统 |
| CN106886585A (zh) * | 2017-02-14 | 2017-06-23 | 北京数码大方科技股份有限公司 | 绘图应用中的数据保存方法和装置 |
| CN107241281A (zh) * | 2017-05-27 | 2017-10-10 | 上海东土远景工业科技有限公司 | 一种数据处理方法及其装置 |
| CN107273423A (zh) * | 2017-05-15 | 2017-10-20 | 中国移动通信集团湖北有限公司 | 多媒体消息数据处理方法、装置和系统 |
| WO2018095152A1 (en) * | 2016-11-22 | 2018-05-31 | Huawei Technologies Co., Ltd. | Systems, devices and methods for managing file system replication |
| CN108347427A (zh) * | 2017-12-29 | 2018-07-31 | 中兴通讯股份有限公司 | 一种视频数据传输、处理方法、装置及终端、服务器 |
| CN108363713A (zh) * | 2017-12-20 | 2018-08-03 | 武汉烽火众智数字技术有限责任公司 | 视频图像信息解析装置、系统及方法 |
| CN108491499A (zh) * | 2018-03-20 | 2018-09-04 | 苏州思必驰信息科技有限公司 | 数据采集方法、数据采集平台、客户端及业务服务器 |
| CN108875517A (zh) * | 2017-12-15 | 2018-11-23 | 北京旷视科技有限公司 | 视频处理方法、装置和系统及存储介质 |
| CN109241191A (zh) * | 2018-09-13 | 2019-01-18 | 华东交通大学 | 一种分布式数据源异构同步平台及同步方法 |
| CN109427190A (zh) * | 2017-08-22 | 2019-03-05 | 普天信息技术有限公司 | 车辆追踪方法及装置 |
| CN110191278A (zh) * | 2018-11-30 | 2019-08-30 | 浙江宇视科技有限公司 | 图像处理方法及装置 |
| CN110505444A (zh) * | 2019-07-10 | 2019-11-26 | 广西盛源行电子信息股份有限公司 | 基于大数据的安防监控系统 |
| CN110704660A (zh) * | 2019-09-29 | 2020-01-17 | 北京市商汤科技开发有限公司 | 数据处理方法、装置、设备和计算机存储介质 |
| CN111046228A (zh) * | 2019-12-10 | 2020-04-21 | 美林数据技术股份有限公司 | 一种基于流计算的视频处理方法 |
| CN111078765A (zh) * | 2019-11-13 | 2020-04-28 | 北京中盾安全技术开发公司 | 基于Hadoop体系架构的视图库系统及其构建方法 |
| CN111144384A (zh) * | 2020-01-16 | 2020-05-12 | 四川天翼网络服务有限公司 | 基于视频结构化应用的警务数据处理系统 |
| CN111241351A (zh) * | 2020-01-08 | 2020-06-05 | 第四范式（北京）技术有限公司 | 数据处理方法、装置及系统 |
| CN111355777A (zh) * | 2020-02-14 | 2020-06-30 | 西安奥卡云数据科技有限公司 | 一种分布式文件系统的管理方法装置及服务器 |
| CN111813528A (zh) * | 2020-07-17 | 2020-10-23 | 公安部第三研究所 | 一种基于任务统计特性的视频大数据标准化汇聚网关系统及方法 |
| CN112003956A (zh) * | 2020-10-27 | 2020-11-27 | 武汉中科通达高新技术股份有限公司 | 一种交管系统 |
| CN112183771A (zh) * | 2020-08-18 | 2021-01-05 | 北京城建信捷轨道交通工程咨询有限公司 | 一种轨道交通智能运维生态系统及其运行方法 |
| CN112364063A (zh) * | 2021-01-12 | 2021-02-12 | 北京智慧星光信息技术有限公司 | 流计算系统及其数据处理方法、电子设备及介质 |
| CN116109441A (zh) * | 2023-02-24 | 2023-05-12 | 北明天时能源科技(北京)有限公司 | 基于物联网数据流式处理的热网数据治理系统 |
| CN118695025A (zh) * | 2024-08-23 | 2024-09-24 | 浙江省钱塘江流域中心 | 一种基于数据特征的多源异构视频资源整合方法及系统 |
| CN118695025B (zh) * | 2024-08-23 | 2024-11-15 | 浙江省钱塘江流域中心 | 一种基于数据特征的多源异构视频资源整合方法及系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101867793A (zh) * | 2010-05-14 | 2010-10-20 | 蔡晓东 | 分布式智能视频搜索系统及使用方法 |
| US20110211070A1 (en) * | 2004-10-12 | 2011-09-01 | International Business Machines Corporation | Video Analysis, Archiving and Alerting Methods and Appartus for a Distributed, Modular and Extensible Video Surveillance System |
| CN102880692A (zh) * | 2012-09-19 | 2013-01-16 | 上海交通大学 | 一种面向检索的监控视频语义描述和检测建模方法 |
| CN102999640A (zh) * | 2013-01-09 | 2013-03-27 | 公安部第三研究所 | 基于语义推理和结构化描述的视频与图像检索系统及方法 |
| CN103491187A (zh) * | 2013-09-30 | 2014-01-01 | 华南理工大学 | 一种基于云计算的大数据统一分析处理方法 |
-
2015
- 2015-06-25 CN CN201510362447.8A patent/CN105045820B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110211070A1 (en) * | 2004-10-12 | 2011-09-01 | International Business Machines Corporation | Video Analysis, Archiving and Alerting Methods and Appartus for a Distributed, Modular and Extensible Video Surveillance System |
| CN101867793A (zh) * | 2010-05-14 | 2010-10-20 | 蔡晓东 | 分布式智能视频搜索系统及使用方法 |
| CN102880692A (zh) * | 2012-09-19 | 2013-01-16 | 上海交通大学 | 一种面向检索的监控视频语义描述和检测建模方法 |
| CN102999640A (zh) * | 2013-01-09 | 2013-03-27 | 公安部第三研究所 | 基于语义推理和结构化描述的视频与图像检索系统及方法 |
| CN103491187A (zh) * | 2013-09-30 | 2014-01-01 | 华南理工大学 | 一种基于云计算的大数据统一分析处理方法 |
Cited By (43)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105630903A (zh) * | 2015-12-21 | 2016-06-01 | 中国电子科技集团公司第十五研究所 | 一种海量数据快速存储的方法和装置 |
| CN105630903B (zh) * | 2015-12-21 | 2020-02-21 | 中国电子科技集团公司第十五研究所 | 一种海量数据快速存储的方法和装置 |
| CN105701738A (zh) * | 2016-03-30 | 2016-06-22 | 上海上实龙创智慧能源科技股份有限公司 | 一种区域建筑能耗平台数据采集处理方法及装置 |
| CN105959621A (zh) * | 2016-04-28 | 2016-09-21 | 泰华智慧产业集团股份有限公司 | 基于多源视频结构化数据的准实时布控系统及方法 |
| CN106230768A (zh) * | 2016-06-16 | 2016-12-14 | 北京数智源科技股份有限公司 | 结构化视频管理系统 |
| US10725974B2 (en) | 2016-11-22 | 2020-07-28 | Huawei Technologies Co., Ltd. | Systems, devices and methods for managing file system replication |
| CN109792453B (zh) * | 2016-11-22 | 2021-02-09 | 华为技术有限公司 | 管理文件系统复制的系统、设备和方法 |
| CN109792453A (zh) * | 2016-11-22 | 2019-05-21 | 华为技术有限公司 | 管理文件系统复制的系统、设备和方法 |
| WO2018095152A1 (en) * | 2016-11-22 | 2018-05-31 | Huawei Technologies Co., Ltd. | Systems, devices and methods for managing file system replication |
| CN106886585A (zh) * | 2017-02-14 | 2017-06-23 | 北京数码大方科技股份有限公司 | 绘图应用中的数据保存方法和装置 |
| CN107273423B (zh) * | 2017-05-15 | 2019-04-12 | 中国移动通信集团湖北有限公司 | 多媒体消息数据处理方法、装置和系统 |
| CN107273423A (zh) * | 2017-05-15 | 2017-10-20 | 中国移动通信集团湖北有限公司 | 多媒体消息数据处理方法、装置和系统 |
| CN107241281B (zh) * | 2017-05-27 | 2020-01-14 | 上海东土远景工业科技有限公司 | 一种数据处理方法及其装置 |
| CN107241281A (zh) * | 2017-05-27 | 2017-10-10 | 上海东土远景工业科技有限公司 | 一种数据处理方法及其装置 |
| CN109427190A (zh) * | 2017-08-22 | 2019-03-05 | 普天信息技术有限公司 | 车辆追踪方法及装置 |
| CN108875517A (zh) * | 2017-12-15 | 2018-11-23 | 北京旷视科技有限公司 | 视频处理方法、装置和系统及存储介质 |
| CN108363713A (zh) * | 2017-12-20 | 2018-08-03 | 武汉烽火众智数字技术有限责任公司 | 视频图像信息解析装置、系统及方法 |
| CN108347427A (zh) * | 2017-12-29 | 2018-07-31 | 中兴通讯股份有限公司 | 一种视频数据传输、处理方法、装置及终端、服务器 |
| CN108347427B (zh) * | 2017-12-29 | 2021-04-02 | 中兴通讯股份有限公司 | 一种视频数据传输、处理方法、装置及终端、服务器 |
| CN108491499A (zh) * | 2018-03-20 | 2018-09-04 | 苏州思必驰信息科技有限公司 | 数据采集方法、数据采集平台、客户端及业务服务器 |
| CN108491499B (zh) * | 2018-03-20 | 2020-03-06 | 苏州思必驰信息科技有限公司 | 数据采集方法、数据采集平台、客户端及业务服务器 |
| CN109241191B (zh) * | 2018-09-13 | 2021-09-14 | 华东交通大学 | 一种分布式数据源异构同步平台及同步方法 |
| CN109241191A (zh) * | 2018-09-13 | 2019-01-18 | 华东交通大学 | 一种分布式数据源异构同步平台及同步方法 |
| CN110191278A (zh) * | 2018-11-30 | 2019-08-30 | 浙江宇视科技有限公司 | 图像处理方法及装置 |
| CN110191278B (zh) * | 2018-11-30 | 2022-03-11 | 浙江宇视科技有限公司 | 图像处理方法及装置 |
| CN110505444A (zh) * | 2019-07-10 | 2019-11-26 | 广西盛源行电子信息股份有限公司 | 基于大数据的安防监控系统 |
| CN110704660A (zh) * | 2019-09-29 | 2020-01-17 | 北京市商汤科技开发有限公司 | 数据处理方法、装置、设备和计算机存储介质 |
| CN111078765A (zh) * | 2019-11-13 | 2020-04-28 | 北京中盾安全技术开发公司 | 基于Hadoop体系架构的视图库系统及其构建方法 |
| CN111046228A (zh) * | 2019-12-10 | 2020-04-21 | 美林数据技术股份有限公司 | 一种基于流计算的视频处理方法 |
| CN111046228B (zh) * | 2019-12-10 | 2023-04-11 | 美林数据技术股份有限公司 | 一种基于流计算的视频处理方法 |
| CN111241351A (zh) * | 2020-01-08 | 2020-06-05 | 第四范式（北京）技术有限公司 | 数据处理方法、装置及系统 |
| CN111144384A (zh) * | 2020-01-16 | 2020-05-12 | 四川天翼网络服务有限公司 | 基于视频结构化应用的警务数据处理系统 |
| CN111355777A (zh) * | 2020-02-14 | 2020-06-30 | 西安奥卡云数据科技有限公司 | 一种分布式文件系统的管理方法装置及服务器 |
| CN111813528A (zh) * | 2020-07-17 | 2020-10-23 | 公安部第三研究所 | 一种基于任务统计特性的视频大数据标准化汇聚网关系统及方法 |
| CN111813528B (zh) * | 2020-07-17 | 2023-04-18 | 公安部第三研究所 | 一种基于任务统计特性的视频大数据标准化汇聚网关系统及方法 |
| CN112183771A (zh) * | 2020-08-18 | 2021-01-05 | 北京城建信捷轨道交通工程咨询有限公司 | 一种轨道交通智能运维生态系统及其运行方法 |
| CN112003956A (zh) * | 2020-10-27 | 2020-11-27 | 武汉中科通达高新技术股份有限公司 | 一种交管系统 |
| CN112364063A (zh) * | 2021-01-12 | 2021-02-12 | 北京智慧星光信息技术有限公司 | 流计算系统及其数据处理方法、电子设备及介质 |
| CN112364063B (zh) * | 2021-01-12 | 2021-06-04 | 北京智慧星光信息技术有限公司 | 流计算系统及其数据处理方法、电子设备及介质 |
| CN116109441A (zh) * | 2023-02-24 | 2023-05-12 | 北明天时能源科技(北京)有限公司 | 基于物联网数据流式处理的热网数据治理系统 |
| CN116109441B (zh) * | 2023-02-24 | 2024-03-19 | 北明天时能源科技(北京)有限公司 | 基于物联网数据流式处理的热网数据治理系统 |
| CN118695025A (zh) * | 2024-08-23 | 2024-09-24 | 浙江省钱塘江流域中心 | 一种基于数据特征的多源异构视频资源整合方法及系统 |
| CN118695025B (zh) * | 2024-08-23 | 2024-11-15 | 浙江省钱塘江流域中心 | 一种基于数据特征的多源异构视频资源整合方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105045820B (zh) | 2020-10-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105045820A (zh) | 一种处理海量级数据的视频图像信息的方法及数据库系统 | |
| Tong et al. | A survey on algorithms for intelligent computing and smart city applications | |
| CN110378824A (zh) | 一种公安交管数据大脑及构建方法 | |
| CN106339509A (zh) | 一种基于大数据技术的电网运营数据共享系统 | |
| CN107864222A (zh) | 一种基于PaaS平台的工业大数据计算架构 | |
| CN112165513A (zh) | 一种流域水环境水生态智慧化管理的云边协同平台架构 | |
| CN105681768A (zh) | 一种通过通信数据实现人流实时监控的方法 | |
| WO2022083684A1 (zh) | 一种路网运行的管理方法、装置、存储介质及终端 | |
| CN107895046B (zh) | 一种异构数据集成平台 | |
| CN103281351A (zh) | 一种高效能遥感数据处理与分析的云服务平台 | |
| CN105354247A (zh) | 一种支持存算联动的地理视频数据组织管理方法 | |
| Jiang et al. | Application Research of Key Frames Extraction Technology Combined with Optimized Faster R‐CNN Algorithm in Traffic Video Analysis | |
| Xianglan | Digital construction of coal mine big data for different platforms based on life cycle | |
| CN107995278B (zh) | 一种基于城域级物联网感知数据的场景智能分析系统与方法 | |
| CN115858829A (zh) | 一种基于算力网络的多源异构环境数据资产构建方法 | |
| CN104765763B (zh) | 一种基于概念格的异构空间信息服务分类的语义匹配方法 | |
| CN103442212A (zh) | 网络安防综合预警式管理系统平台 | |
| CN108228900B (zh) | 基于分层结构的电力设备多光谱数据中心模型建立方法 | |
| Cao et al. | Research on intelligent traffic control model and simulation based on the internet of things and cloud platform | |
| CN110232136A (zh) | 一种基于云计算的大数据处理系统 | |
| CN114596046A (zh) | 一种基于业务中台及数据中台的统一数字模型的集成平台 | |
| CN110661999A (zh) | 一种基于大数据的视频监控系统 | |
| CN113421131A (zh) | 基于大数据内容智能营销系统 | |
| CN107291766A (zh) | 横向专业融合、纵向省地县贯穿的电网全景信息展示系统 | |
| CN114792178A (zh) | 一种智慧乡村大数据中台管理系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB03 | Change of inventor or designer information |
Inventor after: Zheng Xianbin Inventor after: Zhao Wendao Inventor after: Li Haolin Inventor after: Lu Ting Inventor after: Dai Bin Inventor before: Zheng Xianbin Inventor before: Zhao Wendao Inventor before: Dai Bin |
|
| CB03 | Change of inventor or designer information | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20200922 Address after: Room 530, 5 / F, building 6, Xihu international science and technology building, 391 Wener Road, Xihu District, Hangzhou City, Zhejiang Province Applicant after: Zhejiang Liyuan Technology Co., Ltd Address before: 519-529, room 5, building 6, building 310012, West Lake international science and technology building, Wen two road, Xihu District, Zhejiang, Hangzhou Applicant before: ZHEJIANG LIYUAN COMMUNICATION TECHNOLOGIES Co.,Ltd. |
|
| TA01 | Transfer of patent application right |