CN111506672A - 实时分析环保监测数据的方法、装置、设备及存储介质 - Google Patents
实时分析环保监测数据的方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN111506672A CN111506672A CN202010211041.0A CN202010211041A CN111506672A CN 111506672 A CN111506672 A CN 111506672A CN 202010211041 A CN202010211041 A CN 202010211041A CN 111506672 A CN111506672 A CN 111506672A
- Authority
- CN
- China
- Prior art keywords
- real
- time
- preset
- information
- monitoring data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 260
- 230000007613 environmental effect Effects 0.000 title claims abstract description 200
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000010223 real-time analysis Methods 0.000 claims abstract description 148
- 238000012545 processing Methods 0.000 claims abstract description 103
- 230000005540 biological transmission Effects 0.000 claims abstract description 46
- 238000004458 analytical method Methods 0.000 claims description 33
- 238000004422 calculation algorithm Methods 0.000 claims description 27
- 238000012546 transfer Methods 0.000 claims description 23
- 238000005070 sampling Methods 0.000 claims description 21
- 230000002159 abnormal effect Effects 0.000 claims description 16
- 238000004364 calculation method Methods 0.000 claims description 16
- 238000010586 diagram Methods 0.000 claims description 16
- 230000007246 mechanism Effects 0.000 claims description 13
- 238000007781 pre-processing Methods 0.000 claims description 7
- 238000013316 zoning Methods 0.000 claims description 5
- 238000009499 grossing Methods 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 9
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 13
- 238000007405 data analysis Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 9
- 230000006870 function Effects 0.000 description 7
- 238000001514 detection method Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 238000012821 model calculation Methods 0.000 description 6
- 238000002955 isolation Methods 0.000 description 4
- 238000003911 water pollution Methods 0.000 description 4
- 240000005546 Piper methysticum Species 0.000 description 2
- 235000016787 Piper methysticum Nutrition 0.000 description 2
- 230000002457 bidirectional effect Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 239000002360 explosive Substances 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 230000006855 networking Effects 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 230000002860 competitive effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000013501 data transformation Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000002689 soil Substances 0.000 description 1
- 239000002910 solid waste Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/26—Government or public services
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Tourism & Hospitality (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Educational Administration (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- General Engineering & Computer Science (AREA)
- Development Economics (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Computer And Data Communications (AREA)
Abstract
本发明涉及大数据领域，公开了一种实时分析环保监测数据的方法、装置、设备及存储介质，用于实现在保证原系统特性的基础上对各环保监测系统的监测数据进行实时分析的效果。实时分析环保监测数据的方法包括：将环保监测系统通过物联网传感器采集到的环保监测数据写入卡夫卡系统；通过卡夫卡系统创建环保监测数据的主题信息；根据所述物联网传感器的传送频率设置窗口大小；根据流式处理框架和窗口大小从主题信息中获取候选主题信息；通过环保实时分析系统对候选主题信息进行实时分析得到实时分析结果；通过卡夫卡系统创建通过流式处理框架所发送的实时分析结果的目标主题信息；将目标主题信息存储在业务数据库集群中，以及实时传送给环保监测系统。
Description
技术领域
本发明涉及数据分析领域，尤其涉及一种实时分析环保监测数据的方法、装置、设备及存储介质。
背景技术
随着物联网技术的迅猛发展，各种先进的在线检测设备已经大规模应用在环保领域上。现有的企业环保数据监测系统采用先存储后分析的策略或采用基于数据库技术的数据存储手段或采用关系型数据库(Relational Database Management System，RDBMS)技术对各检测系统的环保数据进行分析与预测，虽然在一定程度上解决了企业环保数据监测系统信息化的问题，提高了效率，但是存在对海量的环保数据进行实时分析处理弱的问题。
在现有的技术中，由于通过大量的物联网设备实时获取域内企业的环保数据，这些环保数据规模较大且增长迅速，大规模环保数据的持续积累会导致存储系统负载的增加和查询性能的大幅度下降，因而采用先存储后分析的策略难以实现对各检测系统的环保数据的实时分析。由于只需对一定时间窗口内的环保数据进行实时分析，并不需要时间窗口之外的历史环保数据，然而这些历史环保数据与进行实时分析的环保数据同时在存储系统运行，产生在软硬件资源的分配和使用上的不良竞争干扰，因而基于数据库技术的数据存储手段无法保证对各检测系统的环保数据的实时分析的质量。由于物联网数据具有很强的时间相关性，而且环保数据的实时分析往往需要进行复杂的模型计算，RDBMS技术一般不具备对时间相关性数据的存储和分析的功能和不适合做复杂的模型计算，因而采用关系型数据库RDBMS技术难以对各检测系统的环保数据进行实时分析。现有的企业环保数据监测系统难以实现在保证原系统特性的基础上对各环保监测系统的监测数据进行实时分析的效果。
发明内容
本发明的主要目的在于解决难以实现在保证原系统特性的基础上对各环保监测系统的监测数据进行实时分析的效果的问题。
本发明第一方面提供了一种实时分析环保监测数据的方法，包括：
获取环保监测系统通过物联网传感器采集到的环保监测数据，将所述环保监测数据写入预置的卡夫卡系统；
通过所述卡夫卡系统创建所述环保监测数据的主题，得到对应的主题信息；
获取所述物联网传感器的传送频率，根据所述传送频率设置窗口大小，所述窗口大小用于指示对所述主题信息进行采样的时间长度；
根据预置的流式处理框架和所述窗口大小从所述主题信息中获取候选主题信息；
通过预置的环保实时分析系统对所述候选主题信息进行实时分析，得到实时分析结果；
通过所述流式处理框架将所述实时分析结果发送到所述卡夫卡系统，通过所述卡夫卡系统创建所述实时分析结果的主题，得到目标主题信息；
将所述目标主题信息存储在预置的业务数据库集群中，并将所述目标主题信息实时传送给所述环保监测系统。
可选的，在本发明第一方面的第一种实现方式中，所述获取所述物联网传感器的传送频率，根据所述传送频率设置窗口大小，包括：
获取所述物联网传感器的传送频率；
根据所述传送频率计算所述物联网传感器传送数据的时间间隔，得到多个候选时间间隔；
比较所述多个候选时间间隔的大小，将所述多个候选时间间隔中值最大的候选时间间隔作为预置的流式处理框架处理数据的目标时间间隔；
获取所述环保监测系统对应的计算模型，根据所述计算模型获取所述环保监测数据对应的目标采样次数；
将所述目标时间间隔与所述目标采样次数的乘积作为窗口大小。
可选的，在本发明第一方面的第二种实现方式中，所述根据预置的流式处理框架和所述窗口大小从所述主题信息中获取候选主题信息，包括：
接收触发指令，根据所述触发指令从预置的流式处理框架中调用对应的目标读取算法；
获取所述目标读取算法对应的预置的处理机制；
根据所述目标读取算法、所述处理机制和所述窗口大小，从所述主题信息中获取所述候选主题信息。
可选的，在本发明第一方面的第三种实现方式中，所述通过预置的环保实时分析系统对所述候选主题信息进行实时分析，得到实时分析结果，包括：
从预置的环保实时分析系统中获取与所述候选主题信息对应的业务实时分析子系统；
调用所述业务实时分析子系统中的预置模型，根据所述预置模型对所述候选主题信息进行迭代计算和迭代分析，得到实时分析结果；
对预置的数据库进行检索，获得与所述实时分析结果对应的历史处理方案，以及与所述实时分析结果对应的历史分析报告；
将所述历史处理方案和所述历史分析报告分别添加链接至所述实时分析结果，得到最终的实时分析结果。
可选的，在本发明第一方面的第四种实现方式中，所述调用所述业务实时分析子系统中的预置模型，根据所述预置模型对所述候选主题信息进行迭代计算和迭代分析，得到实时分析结果，包括：
调用所述业务实时分析子系统中的预置模型，根据所述预置模型中的K最近邻算法对所述候选主题信息进行迭代分析，得到异常数据和非异常数据；
分别对所述异常数据和所述非异常数据进行三阶指数平滑处理，得到第一预警时间序列数据和第二预警时间序列数据；
将所述第一预警时间序列数据和所述第一预警时间序列数据生成热力图，将所述热力图作为实时分析结果。
可选的，在本发明第一方面的第五种实现方式中，所述将所述目标主题信息存储在预置的业务数据库集群中，并将所述目标主题信息实时传送给所述环保监测系统，包括：
通过预置的超文本传输协议代理服务器对所述目标主题信息进行分析，得到第一信息和第二信息，所述第一信息用于指示进行数据预处理的目标主题信息，所述第二信息用于指示仅将源互联网协议地址IP修改为所述环保监测系统IP的目标主题信息；
获取超文本传输协议请求报文，通过所述超文本传输协议请求报文将所述第一信息传送至预置的业务数据库集群中对应的数据库；
通过预置的超文本传输协议服务器将所述第二信息实时传输给所述环保监测系统。
可选的，在本发明第一方面的第六种实现方式中，所述获取环保监测系统通过物联网传感器采集到的环保监测数据，将所述环保监测数据写入预置的卡夫卡系统，包括：
创建多个区块，根据预置的区划协议和所述多个区块创建区块链的存储层、网络层和扩展层，得到区块链；
通过所述区块链读取并存储环保监测系统通过物联网传感器采集到的环保监测数据；
通过预置的应用程序编程接口将所述环保监测数据写入预置的卡夫卡系统中。
本发明第二方面提供了一种实时分析环保监测数据的装置，包括：
写入模块，用于获取环保监测系统通过物联网传感器采集到的环保监测数据，将所述环保监测数据写入预置的卡夫卡系统；
创建模块，用于通过所述卡夫卡系统创建所述环保监测数据的主题，得到对应的主题信息；
设置模块，用于获取所述物联网传感器的传送频率，根据所述传送频率设置窗口大小，所述窗口大小用于指示对所述主题信息进行采样的时间长度；
获取模块，用于根据预置的流式处理框架和所述窗口大小从所述主题信息中获取候选主题信息；
实时分析模块，用于通过预置的环保实时分析系统对所述候选主题信息进行实时分析，得到实时分析结果；
发送模块，用于通过所述流式处理框架将所述实时分析结果发送到所述卡夫卡系统，通过所述卡夫卡系统创建所述实时分析结果的主题，得到目标主题信息；
传送模块，用于将所述目标主题信息存储在预置的业务数据库集群中，并将所述目标主题信息实时传送给所述环保监测系统。
可选的，在本发明第二方面的第一种实现方式中，所述设置模块具体用于：
获取所述物联网传感器的传送频率；
根据所述传送频率计算所述物联网传感器传送数据的时间间隔，得到多个候选时间间隔；
比较所述多个候选时间间隔的大小，将所述多个候选时间间隔中值最大的候选时间间隔作为预置的流式处理框架处理数据的目标时间间隔；
获取所述环保监测系统对应的计算模型，根据所述计算模型获取所述环保监测数据对应的目标采样次数；
将所述目标时间间隔与所述目标采样次数的乘积作为窗口大小。
可选的，在本发明第二方面的第二种实现方式中，所述获取模块具体用于：
接收触发指令，根据所述触发指令从预置的流式处理框架中调用对应的目标读取算法；
获取所述目标读取算法对应的预置的处理机制；
根据所述目标读取算法、所述处理机制和所述窗口大小从所述主题信息中获取所述候选主题信息。
可选的，在本发明第二方面的第三种实现方式中，所述实时分析模块包括：
获取单元，用于从预置的环保实时分析系统中获取与所述候选主题信息对应的业务实时分析子系统；
调用单元，用于调用所述业务实时分析子系统中的预置模型，根据所预置模型对所述候选主题信息进行迭代计算和迭代分析，得到实时分析结果；
检索单元，用于对预置的数据库进行检索，获得与所述实时分析结果分别对应的历史处理方案，以及与所述实时分析结果对应的历史分析报告；
链接单元，用于将所述历史处理方案和所述历史分析报告分别添加链接至所述实时分析结果，得到最终的实时分析结果。
可选的，在本发明第二方面的第四种实现方式中，所述调用单元具体用于：
调用所述业务实时分析子系统中的预置模型，根据所述预置模型中的K最近邻算法对所述候选主题信息进行迭代分析，得到异常数据和非异常数据；
分别对所述异常数据和所述非异常数据进行三阶指数平滑处理，得到第一预警时间序列数据和第二预警时间序列数据；
将所述第一预警时间序列数据和所述第一预警时间序列数据生成热力图，将所述热力图作为实时分析结果。
可选的，在本发明第二方面的第五种实现方式中，所述传送模块具体用于：
通过预置的超文本传输协议代理服务器对所述目标主题信息进行分析，得到第一信息和第二信息，所述第一信息用于指示进行数据预处理的目标主题信息，所述第二信息用于指示仅将源互联网协议地址IP修改为所述环保监测系统IP的目标主题信息；
获取超文本传输协议请求报文，通过所述超文本传输协议请求报文将所述第一信息传送至预置的业务数据库集群中对应的数据库；
通过预置的超文本传输协议服务器将所述第二信息实时传输给所述环保监测系统。
可选的，在本发明第二方面的第六种实现方式中，所述写入模块具体用于：
创建多个区块，根据预置的区划协议和所述多个区块创建区块链的存储层、网络层和扩展层，得到区块链；
通过所述区块链读取并存储环保监测系统通过物联网传感器采集到的环保监测数据；
通过预置的应用程序编程接口将所述环保监测数据写入预置的卡夫卡系统中。
本发明第三方面提供了一种实时分析环保监测数据的设备，包括：存储器和至少一个处理器，所述存储器中存储有指令，所述存储器和所述至少一个处理器通过线路互连；所述至少一个处理器调用所述存储器中的所述指令，以使得所述实时分析环保监测数据的设备执行上述的实时分析环保监测数据的方法。
本发明的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述的实时分析环保监测数据的方法。
本发明提供的技术方案中，获取环保监测系统通过物联网传感器采集到的环保监测数据，将所述环保监测数据写入预置的卡夫卡系统；通过所述卡夫卡系统创建所述环保监测数据的主题，得到对应的主题信息；获取所述物联网传感器的传送频率，根据所述传送频率设置窗口大小，所述窗口大小用于指示对所述主题信息进行采样的时间长度；根据预置的流式处理框架和所述窗口大小从所述主题信息中获取候选主题信息；通过预置的环保实时分析系统对所述候选主题信息进行实时分析，得到实时分析结果；通过所述流式处理框架将所述实时分析结果发送到所述卡夫卡系统，通过所述卡夫卡系统创建所述实时分析结果的主题，得到目标主题信息；将所述目标主题信息存储在预置的业务数据库集群中，并将所述目标主题信息实时传送给所述环保监测系统。本发明实施例中，采用卡夫卡系统构建统一的数据总线，通过数据总线将环保监测系统中各子系统的环保监测数据写入存储系统，并采用流式处理框架对环保监测数据进行边储存边分析的流式数据分析处理，解决了系统间数据孤立和大规模时序性数据的复杂模型计算的问题，以及实现了环保监测数据的流式分析处理和确保了数据分析处理的实时性，从而，实现了能够在保证原系统特性的基础上对各环保监测系统的监测数据进行实时分析的效果。
附图说明
图1为本发明实施例中实时分析环保监测数据的方法的一个实施例示意图；
图2为本发明实施例中关于环保监测系统、卡夫卡系统、流式处理框架、环保实时分析系统和业务数据库集群的架构的一个实施例示意图；
图3为本发明实施例中实时分析环保监测数据的方法的另一个实施例示意图；
图4为本发明实施例中将目标主题信息分别传送给业务数据库集群和环保监测系统的一个实施例示意图；
图5为本发明实施例中实时分析环保监测数据的装置的一个实施例示意图；
图6为本发明实施例中实时分析环保监测数据的装置的另一个实施例示意图；
图7为本发明实施例中实时分析环保监测数据的设备的一个实施例示意图。
具体实施方式
本发明实施例提供了一种实时分析环保监测数据的方法、装置、设备及存储介质，采用卡夫卡系统构建统一的数据总线，通过数据总线将环保监测系统中各子系统的环保监测数据写入存储系统，并采用流式处理框架对环保监测数据进行边储存边分析的流式数据分析处理，解决了系统间数据孤立和大规模时序性数据的复杂模型计算的问题，以及实现了环保监测数据的流式分析处理和确保了数据分析处理的实时性，从而，实现了能够在保证原系统特性的基础上对各环保监测系统的监测数据进行实时分析的效果。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”或“具有”及其任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为便于理解，下面对本发明实施例的具体流程进行描述，请参阅图1，本发明实施例中实时分析环保监测数据的方法的一个实施例包括：
101、获取环保监测系统通过物联网传感器采集到的环保监测数据，将环保监测数据写入预置的卡夫卡系统；
可以理解的是，本发明的执行主体可以为实时分析环保监测数据的装置，还可以是终端或者服务器，具体此处不做限定。本发明实施例以服务器为执行主体为例进行说明。服务器上搭载有环保监测系统、卡夫卡系统、流式处理框架、环保实时分析系统和业务数据库集群。环保监测系统连接卡夫卡系统，卡夫卡系统连接环保实时分析系统，卡夫卡连接业务数据库集群，环保实时分析系统设有流式处理框架，如图2所示。
服务器通过多个环保监测系统中的每个环保检测系统接收多个物联网传感器传送的环保监测数据，一个环保检测系统对应连接多个物联网传感器，通过预置的数据写入脚本将多个物联网传感器传送的环保监测数据写入到预置的卡夫卡系统中，并将多个物联网传感器传送的环保监测数据存储在卡夫卡系统对应的关系型数据库管理系统MySQL数据库(即业务数据库集群)中。例如：将水环保监测系统接收到的多个物联网传感器所传送的水质环保监测数据写入预置的卡夫卡系统中对应的水质环保数据库集群中。其中，每个环保监测系统接收多个物联网传感器传送的环保监测数据之后，对环保监测数据进行预处理，预处理包括数据审核处理、数据筛选处理、数据的统一性检查处理、数据清洗处理、数据集成处理、数据变换处理和数据规约处理。环保监测数据可包括附带有查询特性的水质监测数据、空气质量监测数据、废弃物监测数据和噪声监测数据，其中，查询特性用于查询危险源、排污企业和地区等，例如：环保监测数据为空气质量监测数据，该空气质量监测数据中包括对应监测的危险源、排污企业的名称和地址，以及对排污企业的定位信息，监测的危险源、排污企业的名称和地址，以及对排污企业的定位信息及为可进行查询的查询特性。
102、通过卡夫卡系统创建环保监测数据的主题，得到对应的主题信息；
服务器通过卡夫卡系统分析环保监测数据中的属性以及对应的环保监测系统，根据属性和环保监测系统创建主题，得到主题信息，一个环保监测系统的环保监测数据对应一个主题信息。例如：卡夫卡系统创建水环保监测系统的环保监测数据的一个主题，根据水环保监测系统的环保监测数据的属性创建该主题的子主题。通过根据环保监测系统的环保监测数据创建主题，以保证环保监测系统的环保监测数据的独立性，以及以便于将环保监测系统的环保监测数据按照主题类别存储到对应的业务数据库中。
103、获取物联网传感器的传送频率，根据传送频率设置窗口大小，窗口大小用于指示对主题信息进行采样的时间长度；
与环保检测系统连接的物联网传感器按照固定的频率向环保监测系统传送环保监测数据，设频率为f，则物联网传感器向环保监测系统传输环保监测数据的时间间隔为t＝1/f。由于不同厂家和不同型号的物联网传感器的时间间隔t可能不相同，因而需要获取传送频率进行窗口大小的计算和设置，通过对一定时间窗口内的数据(即设置的窗口大小内的环保监测数据)进行分析，以较大地提高数据分析的效率，和实现对环保监测数据的实时分析。
104、根据预置的流式处理框架和窗口大小从主题信息中获取候选主题信息；
服务器通过预置的流式处理框架Spark Streaming基于窗口大小对卡夫卡系统的主题信息进行滑动以进行数据的读取和采样。流式处理框架Spark Streaming根据窗口大小对主题信息进行滑动读取到候选主题信息之后，对其读取的候选主题信息进行数据处理，数据处理包括去重处理、压缩处理和加密处理，得到处理之后的候选主题信息，可选地，将经过处理的候选主题信息按照预置策略传输到异地数据容灾中心或者同城应用容灾中心，通过将读取的主题信息传输到异地数据容灾中心或者同城应用容灾中心进行备份处理，以避免在自然灾害的情况下对源数据的复原和获取。
105、通过预置的环保实时分析系统对候选主题信息进行实时分析，得到实时分析结果；
服务器通过预置的与主题信息对应的环保实时分析系统对候选主题信息进行实时分析，得到各候选主题信息分别对应的实时分析结果。例如：候选主题信息分别为水主题信息、大气主题信息、固废主题信息和土壤主题信息，以水主题信息为例，将水主题信息传送到环保实时分析系统中的水环保实时分析模块，通过水环保实时分析模块对水主题信息的环保监测数据进行各项污染类别的计算和分析，得到相应的实时分析结果。
106、通过流式处理框架将实时分析结果发送到卡夫卡系统，通过卡夫卡系统创建实时分析结果的主题，得到目标主题信息；
服务器通过流式处理Spark Streaming框架传输各实时分析结果到卡夫卡系统中，在卡夫卡系统中针对各实时分析结果创建对应的一个主题(即目标主题信息)，并将其分别存储在对应的存储区域中。流式处理框架Spark Streaming采取边储存边分析的流式数据分析处理策略对候选主题信息进行边分析边通过卡夫卡系统存储在业务数据库集群中，释放了系统的压力，提高了系统性能和实现实时分析功能，以及且只存储分析结果，不存在物联网数据爆炸式增长从而影响数据分析性能的问题。卡夫卡系统将实时分析结果创建主题，保证各实时分析结果之间的独立性。
107、将目标主题信息存储在预置的业务数据库集群中，并将目标主题信息实时传送给环保监测系统。
服务器将各目标主题信息存储在对应的预置的业务数据库集群中，便于各环保监测系统对实时分析结果的读取。将目标主题信息实时向环保监测系统传送，以向环保监测系统反馈和更新环保监测系统。其中，可采用轻量级网页应用框架双向文本协议插件Flask-SocketIO将各目标主题信息实时推送给目标主题信息对应的环保监测系统，环保监测系统所应用的客户端浏览器可采用JavaScript框架的双向文本协议插件SocketIO实时接收目标主题信息，并采用JavaScript的可视化库hightlights.js库进行动态展示。
具体地，服务器根据目标主题信息创建哈希表，并将哈希表分别存储在对应的业务数据库集群中；创建Spark Streaming框架与环保监测系统之间的隧道；基于隧道以预置隧道协议将目标主题信息实时传送至环保监测系统，预置隧道协议包括安全套接层(Secure Sockets Layer，SSL)协议和安全传输层(Transport Layer Security，TLS)协议。
服务器通过将各目标主题信息转化为哈希表进行存储，以减少存储的容量、提高操作效率和提高读取速度。通过超文本传输协议(HyperText Transfer Protocol，http)中的隧道协议进行信息的传送，保证数据传送的安全性、高传送效率和可靠性，以及减轻服务器端的负载。
本发明实施例中，采用卡夫卡系统构建统一的数据总线，通过数据总线将环保监测系统中各子系统的环保监测数据写入存储系统，并采用流式处理框架对环保监测数据进行边储存边分析的流式数据分析处理，解决了系统间数据孤立和大规模时序性数据的复杂模型计算的问题，以及实现了环保监测数据的流式分析处理和确保了数据分析处理的实时性，从而实现了能够在保证原系统特性的基础上对各环保监测系统的监测数据进行实时分析的效果。
请参阅图3，本发明实施例中实时分析环保监测数据的方法的另一个实施例包括：
301、获取环保监测系统通过物联网传感器采集到的环保监测数据，将环保监测数据写入预置的卡夫卡系统；
具体地，服务器创建用于创建区块链构架的多个区块，根据预置的区划协议和多个区块创建存储层、网络层和扩展层，通过存储层、网络层和扩展层构建的框架从而得到区块链；环保监测系统连接区块链中的各区块链节点，当各环保监测系统接收到多个物联网传感器传送的环保监测数据时，将环保监测数据传送并存储至区块链中的各区块链节点；将环保监测数据传送并存储至区块链中的各区块链节点之后，通过预置的应用程序编程接口(Application Programming Interface，API)将环保监测数据写入预置的卡夫卡系统中。通过结合区块链的信息不可篡改、自治性和开放性等特点将多个环保监测系统的环保监测数据汇集写入卡夫卡系统中，以便于对环保监测数据的管理、读取和实时分析且不影响各个环保监测系统中的环保监测数据的独立性和安全性。
302、通过卡夫卡系统创建环保监测数据的主题，得到对应的主题信息；
服务器通过卡夫卡系统分析环保监测数据中的属性以及对应的环保监测系统，根据属性和环保监测系统创建主题，得到主题信息，一个环保监测系统的环保监测数据对应一个主题信息。例如：卡夫卡系统创建水环保监测系统的环保监测数据的一个主题，根据水环保监测系统的环保监测数据的属性创建该主题的子主题。通过根据环保监测系统的环保监测数据创建主题，以保证各环保监测系统的环保监测数据的独立性，以及以便于将各环保监测系统的环保监测数据按照主题类别存储到对应的业务数据库中。
303、获取物联网传感器的传送频率，根据传送频率设置窗口大小，窗口大小用于指示对主题信息进行采样的时间长度；
具体地，服务器获取对应传送环保监测数据的各物联网传感器的传送频率；根据传送频率计算各物联网传感器传送数据的时间间隔，得到多个候选时间间隔；比较多个候选时间间隔的大小，将多个候选时间间隔中值最大的候选时间间隔作为预置的流式处理框架处理数据的目标时间间隔；获取环保监测系统对应的计算模型，根据计算模型获取环保监测数据对应的目标采样次数；将目标时间间隔与目标采样次数的乘积作为窗口大小。
服务器通过取值最大的时间间隔作为Spark Streaming框架处理数据的目标时间间隔，以使其Spark Streaming框架能够读取任意物联网传感器传送的环保监测数据，其中，将环保监测系统的环保监测数据对应的所有物联网传感器的时间间隔的大小进行比较，例如：环保监测系统为水环保监测系统，水环保监测系统连接有3个物联网传感器，则将这3个物联网传感器对应的时间间隔的大小进行比较，将值最大的时间间隔作为流式处理框架Spark Streaming的滑动时间间隔(即目标时间间隔)。不同的计算模型对采样次数有不同要求，通过环保监测系统对应的计算模型获取环保监测数据对应的预置采样次数(即目标采样次数)，将目标时间间隔与目标采样次数的乘积作为Spark Streaming框架的窗口大小。
304、根据预置的流式处理框架和窗口大小从主题信息中获取候选主题信息；
具体地，服务器接收触发指令，根据触发指令从预置的流式处理框架中调用对应的目标读取算法，触发指令用于判断调用基址寄存器算法和/或调用直接算法；获取目标读取算法对应的预置的处理机制；根据目标读取算法、处理机制和窗口大小，从主题信息中获取候选主题信息。
例如，根据用户选择的方式进行数据读取，当用户需要工作量少便捷，则触发指令仅调用基址寄存器Receiver-base算法；调用基址寄存器Receiver-base算法时，由于基址寄存器Receiver-base算法在对读取的数据处理前需将数据备份到数据库事件checkpoint目录中，降低数据处理的效率和加重Receiver端的压力，且存在的数据备份机制会导致负载过高而出现的延迟和崩溃或者其他的缺陷，因而会结合相应的并行处理、同步处理和数据备份的大小达到预设阈值时停止备份或者调用其他工具进行备份等的处理机制。
305、通过预置的环保实时分析系统对候选主题信息进行实时分析，得到实时分析结果；
具体地，服务器从预置的环保实时分析系统中获取与候选主题信息对应的业务实时分析子系统，业务实时分析子系统用于指示预置的环保实时分析系统中与候选主题信息对应的实时分析系统；调用业务实时分析子系统中的预置模型，根据预置模型对候选主题信息进行迭代计算和迭代分析，得到实时分析结果，预置模型包括预置公式和预置分析算法；对预置的数据库进行检索，获得与实时分析结果分别对应的历史处理方案，以及与实时分析结果对应的历史分析报告；将历史处理方案和历史分析报告分别添加链接至实时分析结果，得到最终的实时分析结果。
不同的环保监测数据有不同的分析机制，需要对应的业务实时分析子系统以及该业务实时分析子系统内对应的预置模型对其环保监测数据进行计算和分析，其中，不同的分析类别对应不同的分析算法和/或计算公式。例如：以水污染为例，国家相关技术标准对水污染有着详细的界定以及相关的计算模型，通过这些相关的计算模型计算出水环保监测数据的水污染情况，对于水污染情况的判定都有相应的计算公式和分析算法。通过将历史处理方案和历史分析报告添加链接至实时分析结果，以便于用户对实时分析结果的多方向理解，提高实用性。
306、通过流式处理框架将实时分析结果发送到卡夫卡系统，通过卡夫卡系统创建实时分析结果的主题，得到目标主题信息；
服务器通过流式处理Spark Streaming框架传输各实时分析结果到卡夫卡系统中，在卡夫卡系统中针对各实时分析结果创建对应的一个主题(即目标主题信息)，并将其分别存储在对应的存储区域中。流式处理Spark Streaming框架采取边储存边分析的流式数据分析处理策略对候选主题信息进行边分析边通过卡夫卡系统存储在业务数据库集群中，释放了系统的压力，提高了系统性能和实现实时分析功能，以及且只存储分析结果，不存在物联网数据爆炸式增长从而影响数据分析性能的问题。卡夫卡系统将实时分析结果创建主题，保证各实时分析结果之间的独立性。
307、通过预置的超文本传输协议代理服务器对目标主题信息进行分析，得到第一信息和第二信息，第一信息用于指示进行数据预处理的目标主题信息，第二信息用于指示仅将源互联网协议地址IP修改为环保监测系统IP的目标主题信息；
预部署一个超文本传输协议Http代理服务器和Http服务器，Http代理服务器与Http服务器连接，Http服务器与各环保监测系统连接，Http代理服务器分别与业务数据库集群连接。通过Http代理服务器对目标主题信息进行复制，得到两份数据，将其中一份数据进行数据预处理，得到第一信息，其中，数据预处理包括数据清理处理、数据集成处理、数据规约处理和数据变换处理，以及生成哈希表处理；将另外一份数据的源互联网协议地址IP修改为对应的环保监测系统的IP，得到第二信息。
308、获取超文本传输协议请求报文，通过超文本传输协议请求报文将第一信息传送至预置的业务数据库集群中对应的数据库；
服务器获得第一信息后，对应地生成请求行、请求头部、空行和请求数据，从而得到超文本传输协议Http请求报文，通过业务数据库集群向所连接的Http代理服务器发送Http请求报文格式的Http请求，当Http代理服务器接收到业务数据库集群发送的Http请求时，读取该Http请求对应的Http请求报文中的请求行、请求头部、空行和请求数据，根据请求行、请求头部、空行和请求数据将第一信息传送到对应的业务数据库集群中，并以对应的数据类型存储在对应的数据库中，如图4所示。
309、通过预置的超文本传输协议服务器将第二信息实时传输给环保监测系统。
服务器获得第二信息后，通过各环保监测系统分别向Http代理服务器发送Http请求，当Http代理服务器接收到环保监测系统发送的Http请求时，读取并根据该Http请求对应Http请求报文将第二信息发送到Http服务器，再由Http服务器响应环保监测系统的Http请求，将第二信息分别传输到对应的环保监测系统中，如图4所示。通过Http代理服务器和Http服务器，一方面将各目标主题信息实时地接入卡夫卡系统中，另一方面在保证原系统特性的基础上对各环保监测系统的环保监测数据进行实时分析的稳定运行。
本发明实施例中，在能够实现在保证原系统特性的基础上对各环保监测系统的监测数据进行实时分析的效果的基础上，通过Http代理服务器和Http服务器，一方面将多个目标主题信息实时地接入卡夫卡系统中，另一方面在保证原系统特性的基础上对各环保监测系统的环保监测数据进行实时分析的稳定运行。
上面对本发明实施例中实时分析环保监测数据的方法进行了描述，下面对本发明实施例中实时分析环保监测数据的装置进行描述，请参阅图5，本发明实施例中实时分析环保监测数据的装置一个实施例包括：
写入模块501，用于获取环保监测系统通过物联网传感器采集到的环保监测数据，将环保监测数据写入预置的卡夫卡系统；
创建模块502，用于通过卡夫卡系统创建环保监测数据的主题，得到对应的主题信息；
设置模块503，用于获取物联网传感器的传送频率，根据传送频率设置窗口大小，窗口大小用于指示对主题信息进行采样的时间长度；
获取模块504，用于根据预置的流式处理框架和窗口大小从主题信息中获取候选主题信息；
实时分析模块505，用于通过预置的环保实时分析系统对候选主题信息进行实时分析，得到实时分析结果；
发送模块506，用于通过流式处理框架将实时分析结果发送到卡夫卡系统，通过卡夫卡系统创建实时分析结果的主题，得到目标主题信息；
传送模块507，用于将目标主题信息存储在预置的业务数据库集群中，并将目标主题信息实时传送给环保监测系统。
上述实时分析环保监测数据的装置中各模块的功能实现与上述实时分析环保监测数据的方法实施例中各步骤相对应，其功能和实现过程在此处不再一一赘述。
本发明实施例中，采用卡夫卡系统构建统一的数据总线，通过数据总线将环保监测系统中各子系统的环保监测数据写入存储系统，并采用流式处理框架对环保监测数据进行边储存边分析的流式数据分析处理，解决了系统间数据孤立和大规模时序性数据的复杂模型计算的问题，以及实现了环保监测数据的流式分析处理和确保了数据分析处理的实时性，从而，实现了能够在保证原系统特性的基础上对各环保监测系统的监测数据进行实时分析的效果。
请参阅图6，本发明实施例中实时分析环保监测数据的装置的另一个实施例包括：
写入模块501，用于获取环保监测系统通过物联网传感器采集到的环保监测数据，将环保监测数据写入预置的卡夫卡系统；
创建模块502，用于通过卡夫卡系统创建环保监测数据的主题，得到对应的主题信息；
设置模块503，用于获取物联网传感器的传送频率，根据传送频率设置窗口大小，窗口大小用于指示对主题信息进行采样的时间长度；
获取模块504，用于根据预置的流式处理框架和窗口大小从主题信息中获取候选主题信息；
实时分析模块305，用于通过预置的环保实时分析系统对候选主题信息进行实时分析，得到实时分析结果；
发送模块506，用于通过流式处理框架将实时分析结果发送到卡夫卡系统，通过卡夫卡系统创建实时分析结果的主题，得到目标主题信息；
分析单元5071，用于通过预置的超文本传输协议代理服务器对目标主题信息进行分析，得到第一信息和第二信息，第一信息用于指示进行数据预处理的目标主题信息，第二信息用于指示仅将源互联网协议地址IP修改为环保监测系统IP的目标主题信息；
传送单元5072，用于获取超文本传输协议请求报文，通过超文本传输协议请求报文将第一信息传送至预置的业务数据库集群中对应的数据库中；
传输单元5073，用于通过预置的超文本传输协议服务器将第二信息实时传输给环保监测系统。
可选的，设置模块503还可以具体用于：
获取物联网传感器的传送频率；
根据传送频率计算物联网传感器传送数据的时间间隔，得到多个候选时间间隔；
比较多个候选时间间隔的大小，将多个候选时间间隔中值最大的候选时间间隔作为预置的流式处理框架处理数据的目标时间间隔；
获取环保监测系统对应的计算模型，根据计算模型获取环保监测数据对应的目标采样次数；
将目标时间间隔与目标采样次数的乘积作为窗口大小。
可选的，获取模块504还可以具体用于：
接收触发指令，根据触发指令从预置的流式处理框架中调用对应的目标读取算法；
获取目标读取算法对应的预置的处理机制；
根据目标读取算法、处理机制和窗口大小从主题信息中获取候选主题信息。
可选的，实时分析模块505包括：
获取单元5051，用于从预置的环保实时分析系统中获取与候选主题信息对应的业务实时分析子系统；
调用单元5052，用于调用业务实时分析子系统中的预置模型，根据预置模型对候选主题信息进行迭代计算和迭代分析，得到实时分析结果；
检索单元5053，用于对预置的数据库进行检索，获得与实时分析结果分别对应的历史处理方案，以及与实时分析结果对应的历史分析报告；
链接单元5054，用于将历史处理方案和历史分析报告分别添加链接至实时分析结果，得到最终的实时分析结果。
可选的，调用单元5052还可以具体用于：
调用业务实时分析子系统中的预置模型，根据预置模型中的K最近邻算法对候选主题信息进行迭代分析，得到异常数据和非异常数据；
分别对异常数据和非异常数据进行三阶指数平滑处理，得到第一预警时间序列数据和第二预警时间序列数据；
将第一预警时间序列数据和第一预警时间序列数据生成热力图，将热力图作为实时分析结果。
可选的，写入模块501还可以具体用于：
创建多个区块，根据预置的区划协议和多个区块创建区块链的存储层、网络层和扩展层，得到区块链；
通过区块链读取并存储环保监测系统通过物联网传感器采集到的环保监测数据；
通过预置的应用程序编程接口将环保监测数据写入预置的卡夫卡系统中。
上述实时分析环保监测数据的装置中各模块和各单元的功能实现与上述实时分析环保监测数据的方法实施例中各步骤相对应，其功能和实现过程在此处不再一一赘述。
本发明实施例中，在能够实现在保证原系统特性的基础上对各环保监测系统的监测数据进行实时分析的效果的基础上，通过Http代理服务器和Http服务器，一方面将多个目标主题信息实时地接入卡夫卡系统中，另一方面在保证原系统特性的基础上对各环保监测系统的监测数据进行实时分析的稳定运行。
上面图5和图6从模块化功能实体的角度对本发明实施例中的实时分析环保监测数据的装置进行详细描述，下面从硬件处理的角度对本发明实施例中实时分析环保监测数据的设备进行详细描述。
图7是本发明实施例提供的一种实时分析环保监测数据的设备的结构示意图，该实时分析环保监测数据的设备700可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，CPU)710(例如，一个或一个以上处理器)和存储器720，一个或一个以上存储应用程序733或数据732的存储介质730(例如一个或一个以上海量存储设备)。其中，存储器730和存储介质730可以是短暂存储或持久存储。存储在存储介质730的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对实时分析环保监测数据的设备700中的一系列指令操作。更进一步地，处理器710可以设置为与存储介质730通信，在实时分析环保监测数据的设备700上执行存储介质730中的一系列指令操作。
实时分析环保监测数据的设备700还可以包括一个或一个以上电源740，一个或一个以上有线或无线网络接口750，一个或一个以上输入输出接口760，和/或，一个或一个以上操作系统731，例如Windows Serve，Mac OS X，Unix，Linux，FreeBSD等等。本领域技术人员可以理解，图7示出的实时分析环保监测数据的设备结构并不构成对实时分析环保监测数据的设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
本发明还提供一种计算机可读存储介质，该计算机可读存储介质可以为非易失性计算机可读存储介质，该计算机可读存储介质也可以为易失性计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在计算机上运行时，使得计算机执行所述实时分析环保监测数据的方法的步骤。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种实时分析环保监测数据的方法，其特征在于，所述实时分析环保监测数据的方法包括：
获取环保监测系统通过物联网传感器采集到的环保监测数据，将所述环保监测数据写入预置的卡夫卡系统；
通过所述卡夫卡系统创建所述环保监测数据的主题，得到对应的主题信息；
获取所述物联网传感器的传送频率，根据所述传送频率设置窗口大小，所述窗口大小用于指示对所述主题信息进行采样的时间长度；
根据预置的流式处理框架和所述窗口大小从所述主题信息中获取候选主题信息；
通过预置的环保实时分析系统对所述候选主题信息进行实时分析，得到实时分析结果；
通过所述流式处理框架将所述实时分析结果发送到所述卡夫卡系统，通过所述卡夫卡系统创建所述实时分析结果的主题，得到目标主题信息；
将所述目标主题信息存储在预置的业务数据库集群中，并将所述目标主题信息实时传送给所述环保监测系统。
2.根据权利要求1所述的实时分析环保监测数据的方法，其特征在于，所述获取所述物联网传感器的传送频率，根据所述传送频率设置窗口大小，包括：
获取所述物联网传感器的传送频率；
根据所述传送频率计算所述物联网传感器传送数据的时间间隔，得到多个候选时间间隔；
比较所述多个候选时间间隔的大小，将所述多个候选时间间隔中值最大的候选时间间隔作为预置的流式处理框架处理数据的目标时间间隔；
获取所述环保监测系统对应的计算模型，根据所述计算模型获取所述环保监测数据对应的目标采样次数；
将所述目标时间间隔与所述目标采样次数的乘积作为窗口大小。
3.根据权利要求2所述的实时分析环保监测数据的方法，其特征在于，所述根据预置的流式处理框架和所述窗口大小从所述主题信息中获取候选主题信息，包括：
接收触发指令，根据所述触发指令从预置的流式处理框架中调用对应的目标读取算法；
获取所述目标读取算法对应的预置的处理机制；
根据所述目标读取算法、所述处理机制和所述窗口大小，从所述主题信息中获取所述候选主题信息。
4.根据权利要求3所述的实时分析环保监测数据的方法，其特征在于，所述通过预置的环保实时分析系统对所述候选主题信息进行实时分析，得到实时分析结果，包括：
从预置的环保实时分析系统中获取与所述候选主题信息对应的业务实时分析子系统；
调用所述业务实时分析子系统中的预置模型，根据所述预置模型对所述候选主题信息进行迭代计算和迭代分析，得到实时分析结果；
对预置的数据库进行检索，获得与所述实时分析结果对应的历史处理方案，以及与所述实时分析结果对应的历史分析报告；
将所述历史处理方案和所述历史分析报告分别添加链接至所述实时分析结果，得到最终的实时分析结果。
5.根据权利要求4所述的实时分析环保监测数据的方法，其特征在于，所述调用所述业务实时分析子系统中的预置模型，根据所述预置模型对所述候选主题信息进行迭代计算和迭代分析，得到实时分析结果，包括：
调用所述业务实时分析子系统中的预置模型，根据所述预置模型中的K最近邻算法对所述候选主题信息进行迭代分析，得到异常数据和非异常数据；
分别对所述异常数据和所述非异常数据进行三阶指数平滑处理，得到第一预警时间序列数据和第二预警时间序列数据；
将所述第一预警时间序列数据和所述第一预警时间序列数据生成热力图，将所述热力图作为实时分析结果。
6.根据权利要求1-5中任一项所述的实时分析环保监测数据的方法，其特征在于，所述将所述目标主题信息存储在预置的业务数据库集群中，并将所述目标主题信息实时传送给所述环保监测系统，包括：
通过预置的超文本传输协议代理服务器对所述目标主题信息进行分析，得到第一信息和第二信息，所述第一信息用于指示进行数据预处理的目标主题信息，所述第二信息用于指示仅将源互联网协议地址IP修改为所述环保监测系统IP的目标主题信息；
获取超文本传输协议请求报文，通过所述超文本传输协议请求报文将所述第一信息传送至预置的业务数据库集群中对应的数据库；
通过预置的超文本传输协议服务器将所述第二信息实时传输给所述环保监测系统。
7.根据权利要求1所述的实时分析环保监测数据的方法，其特征在于，所述获取环保监测系统通过物联网传感器采集到的环保监测数据，将所述环保监测数据写入预置的卡夫卡系统，包括：
创建多个区块，根据预置的区划协议和所述多个区块创建区块链的存储层、网络层和扩展层，得到区块链；
通过所述区块链读取并存储环保监测系统通过物联网传感器采集到的环保监测数据；
通过预置的应用程序编程接口将所述环保监测数据写入预置的卡夫卡系统中。
8.一种实时分析环保监测数据的装置，其特征在于，所述实时分析环保监测数据的装置包括：
写入模块，用于获取环保监测系统通过物联网传感器采集到的环保监测数据，将所述环保监测数据写入预置的卡夫卡系统；
创建模块，用于通过所述卡夫卡系统创建所述环保监测数据的主题，得到对应的主题信息；
设置模块，用于获取所述物联网传感器的传送频率，根据所述传送频率设置窗口大小，所述窗口大小用于指示对所述主题信息进行采样的时间长度；
获取模块，用于根据预置的流式处理框架和所述窗口大小从所述主题信息中获取候选主题信息；
实时分析模块，用于通过预置的环保实时分析系统对所述候选主题信息进行实时分析，得到实时分析结果；
发送模块，用于通过所述流式处理框架将所述实时分析结果发送到所述卡夫卡系统，通过所述卡夫卡系统创建所述实时分析结果的主题，得到目标主题信息；
传送模块，用于将所述目标主题信息存储在预置的业务数据库集群中，并将所述目标主题信息实时传送给所述环保监测系统。
9.一种实时分析环保监测数据的设备，其特征在于，所述实时分析环保监测数据的设备包括：存储器和至少一个处理器，所述存储器中存储有指令，所述存储器和所述至少一个处理器通过线路互连；
所述至少一个处理器调用所述存储器中的所述指令，以使得所述实时分析环保监测数据的设备执行如权利要求1-7中任意一项所述的实时分析环保监测数据的方法。
10.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7中任一项所述实时分析环保监测数据的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010211041.0A CN111506672B (zh) | 2020-03-24 | 2020-03-24 | 实时分析环保监测数据的方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010211041.0A CN111506672B (zh) | 2020-03-24 | 2020-03-24 | 实时分析环保监测数据的方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111506672A true CN111506672A (zh) | 2020-08-07 |
| CN111506672B CN111506672B (zh) | 2024-05-07 |
Family
ID=71875876
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010211041.0A Active CN111506672B (zh) | 2020-03-24 | 2020-03-24 | 实时分析环保监测数据的方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111506672B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112232781A (zh) * | 2020-10-27 | 2021-01-15 | 山东中节能天融环保技术有限公司 | 一种多源融合在线预警管控平台 |
| CN113568960A (zh) * | 2021-09-24 | 2021-10-29 | 江苏正泰泰杰赛智能科技有限公司 | 物联网数据实时分析方法、系统及计算机可读存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106095965A (zh) * | 2016-06-17 | 2016-11-09 | 上海智臻智能网络科技股份有限公司 | 一种数据处理方法和装置 |
| CN106778033A (zh) * | 2017-01-10 | 2017-05-31 | 南京邮电大学 | 一种基于Spark平台的Spark Streaming异常温度数据报警方法 |
| CN108268569A (zh) * | 2017-01-04 | 2018-07-10 | 上海宝信软件股份有限公司 | 基于大数据技术的水资源监测数据采集与分析系统及方法 |
| CN108365971A (zh) * | 2018-01-10 | 2018-08-03 | 深圳市金立通信设备有限公司 | 日志解析方法、设备及计算机可读介质 |
| CN109542740A (zh) * | 2017-09-22 | 2019-03-29 | 阿里巴巴集团控股有限公司 | 异常检测方法及装置 |
| CN109885978A (zh) * | 2019-03-27 | 2019-06-14 | 航天恒星科技有限公司 | 一种遥感地面站故障诊断系统及方法 |
| CN110278090A (zh) * | 2019-06-27 | 2019-09-24 | 尚菊红 | 环保监测数据监控系统、处理方法、计算机设备及存储介质 |
-
2020
- 2020-03-24 CN CN202010211041.0A patent/CN111506672B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106095965A (zh) * | 2016-06-17 | 2016-11-09 | 上海智臻智能网络科技股份有限公司 | 一种数据处理方法和装置 |
| CN108268569A (zh) * | 2017-01-04 | 2018-07-10 | 上海宝信软件股份有限公司 | 基于大数据技术的水资源监测数据采集与分析系统及方法 |
| CN106778033A (zh) * | 2017-01-10 | 2017-05-31 | 南京邮电大学 | 一种基于Spark平台的Spark Streaming异常温度数据报警方法 |
| CN109542740A (zh) * | 2017-09-22 | 2019-03-29 | 阿里巴巴集团控股有限公司 | 异常检测方法及装置 |
| CN108365971A (zh) * | 2018-01-10 | 2018-08-03 | 深圳市金立通信设备有限公司 | 日志解析方法、设备及计算机可读介质 |
| CN109885978A (zh) * | 2019-03-27 | 2019-06-14 | 航天恒星科技有限公司 | 一种遥感地面站故障诊断系统及方法 |
| CN110278090A (zh) * | 2019-06-27 | 2019-09-24 | 尚菊红 | 环保监测数据监控系统、处理方法、计算机设备及存储介质 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112232781A (zh) * | 2020-10-27 | 2021-01-15 | 山东中节能天融环保技术有限公司 | 一种多源融合在线预警管控平台 |
| CN113568960A (zh) * | 2021-09-24 | 2021-10-29 | 江苏正泰泰杰赛智能科技有限公司 | 物联网数据实时分析方法、系统及计算机可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111506672B (zh) | 2024-05-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11238069B2 (en) | Transforming a data stream into structured data | |
| CN107943668B (zh) | 计算机服务器集群日志监控方法及监控平台 | |
| CN101902505B (zh) | 一种分布式dns查询日志的实时统计装置及方法 | |
| US20200372007A1 (en) | Trace and span sampling and analysis for instrumented software | |
| Sallinen et al. | Graph colouring as a challenge problem for dynamic graph processing on distributed systems | |
| JP2016513300A (ja) | 連続データストリームに対する継続時間可変ウィンドウ | |
| CN111782620B (zh) | 一种信用链路自动跟踪平台及其方法 | |
| WO2008064593A1 (fr) | Procédé et système d'analyse de journal basés sur un réseau de calcul distribué | |
| US10657099B1 (en) | Systems and methods for transformation and analysis of logfile data | |
| CN111708667B (zh) | 一种业务边缘计算方法及系统 | |
| CN112069049A (zh) | 数据监控管理方法、装置、服务器及可读存储介质 | |
| CN111506672B (zh) | 实时分析环保监测数据的方法、装置、设备及存储介质 | |
| CN114116733B (zh) | 配电自动化系统数据异常操作检测和追溯系统及方法 | |
| Anbukodi et al. | Reducing web crawler overhead using mobile crawler | |
| US20230060461A1 (en) | Inference engine configured to provide a heat map interface | |
| CN115391429A (zh) | 基于大数据云计算的时序数据处理方法及装置 | |
| CN111130882A (zh) | 网络设备的监控系统及方法 | |
| CN111078975B (zh) | 一种多节点增量式数据采集系统及采集方法 | |
| US11841827B2 (en) | Facilitating generation of data model summaries | |
| Rastogi et al. | Design and development of generic web based framework for log analysis | |
| KR101878291B1 (ko) | 에너지 빅데이터 관리 시스템 및 그 방법 | |
| Zhenhui | Data Processing Strategy in Internet of Things Application System | |
| CN114625763A (zh) | 用于数据库的信息分析方法、装置、电子设备和可读介质 | |
| CN112100473A (zh) | 基于应用接口的爬虫方法、终端及存储介质 | |
| CN111352795A (zh) | 一种移动业务的监控方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |