CN112749153B - 一种工业网络数据管理系统 - Google Patents
一种工业网络数据管理系统 Download PDFInfo
- Publication number
- CN112749153B CN112749153B CN202011613898.1A CN202011613898A CN112749153B CN 112749153 B CN112749153 B CN 112749153B CN 202011613898 A CN202011613898 A CN 202011613898A CN 112749153 B CN112749153 B CN 112749153B
- Authority
- CN
- China
- Prior art keywords
- data
- module
- acquisition module
- industrial
- class
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013523 data management Methods 0.000 title claims abstract description 20
- 238000006243 chemical reaction Methods 0.000 claims abstract description 57
- 238000013500 data storage Methods 0.000 claims abstract description 32
- 238000012806 monitoring device Methods 0.000 claims abstract description 4
- 238000004519 manufacturing process Methods 0.000 claims description 33
- 238000007405 data analysis Methods 0.000 claims description 22
- 238000004140 cleaning Methods 0.000 claims description 13
- 238000012545 processing Methods 0.000 claims description 10
- 238000007418 data mining Methods 0.000 claims description 9
- 239000000523 sample Substances 0.000 claims description 9
- 238000007619 statistical method Methods 0.000 claims description 9
- 238000012544 monitoring process Methods 0.000 claims description 8
- 238000012800 visualization Methods 0.000 claims description 8
- 238000003860 storage Methods 0.000 claims description 7
- 238000001914 filtration Methods 0.000 claims description 6
- 230000002159 abnormal effect Effects 0.000 claims description 5
- 238000012550 audit Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000010801 machine learning Methods 0.000 claims description 4
- 238000004458 analytical method Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 238000013480 data collection Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 229920001971 elastomer Polymers 0.000 description 1
- 239000000806 elastomer Substances 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000000034 method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002688 persistence Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000010926 purge Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2462—Approximate or statistical queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0637—Strategic management or analysis, e.g. setting a goal or target of an organisation; Planning actions based on goals; Analysis or evaluation of effectiveness of goals
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Economics (AREA)
- Strategic Management (AREA)
- Probability & Statistics with Applications (AREA)
- Quality & Reliability (AREA)
- Entrepreneurship & Innovation (AREA)
- Educational Administration (AREA)
- Tourism & Hospitality (AREA)
- Marketing (AREA)
- Operations Research (AREA)
- Game Theory and Decision Science (AREA)
- General Business, Economics & Management (AREA)
- Development Economics (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Computer And Data Communications (AREA)
Abstract
本发明实施例涉及工业网络数据治理领域，公开了一种工业网络数据管理系统。本发明中，该系统包括：依次相连的数据采集模块、数据转换模块、数据存储模块以及数据分析模块，数据采集模块还与数据存储模块相连；数据采集模块基于TCP/IP协议的以太网模式采集第一类数据和第二类数据，并将第一类数据传输至数据存储模块中、将第二类数据上传到数据转换模块中；数据转换模块接收数据、并转换为结构化数据；其中，第一类数据包括：各传感器和SCADA主机产生的实时数据，第二类数据包括：网络安全设备的流量数据以及第三方监控设备中应用程序的日志数据和系统日志数据。本发明提供的系统，能够对数据源进行全生命周期的汇总采集，以有利于后续决策。
Description
技术领域
本发明实施例涉及工业网络数据治理领域，特别涉及一种工业网络数据管理系统。
背景技术
随着工业实现自动化的步伐不断迈进和深入，又一轮新兴的工业革命已经大规模的展开。工业互联网产业联盟(AII)在2016年发布的《工业互联网体系架构(1.0)》中将工业互联网的建设重点概括为“网络”、“数据”、“安全”三大领域，而“数据”是推动工业互联网智能化的基础和核心动力。
在工业生产中若能科学合理的利用大数据技术就能有效促进企业信息化发展，提升企业生产运行效率、助力企业升级转型并形成全新的智能制造模式。工业大数据技术的应用，核心的目标是全方位采集各个环节的数据，并将这些数据汇聚起来进行深度分析，利用数据分析结果反过来指导各个环节的控制与管理决策，并通过效果监测的反馈闭环，实现决策控制持续优化。
因此，有必要提供一种系统来进行工业网络数据的管理。
发明内容
本发明实施方式的目的在于提供一种工业网络数据管理系统，能够对工业现场中相互关联、分布式异构的数据源进行全生命周期的汇总采集，从而有利于后续利用该数据做出更优的决策。
为解决上述技术问题，本发明的实施方式提供了一种工业网络数据管理系统，包括：依次相连的数据采集模块、数据转换模块、数据存储模块以及数据分析模块，所述数据采集模块还与所述数据存储模块相连；所述数据采集模块基于TCP/IP协议的以太网模式对工业现场中第一类数据和第二类数据进行采集，并将第一类数据经由消息中间件传输至数据存储模块中、将第二类数据上传到数据转换模块中；所述数据转换模块接收所述数据采集模块传输的所述第二类数据，并将接收的第二类数据转换为结构化数据；所述数据存储模块接收并存储所述数据采集模块传输的第一类数据、以及所述数据转换模块传输的结构化后的第二类数据；所述数据分析模块对输入的数据进行分析和显示；其中，所述第一类数据包括：工业现场中的各传感器和SCADA主机产生的实时数据，所述第二类数据包括：工业环境中网络安全设备的流量数据以及第三方监控设备中应用程序的日志数据和系统日志数据。
本发明实施方式相对于现有技术而言，通过所述数据采集模块基于TCP/IP协议的以太网模式对工业现场中第一类数据和第二类数据进行采集，其中，所述第一类数据包括：工业现场中的各传感器和SCADA主机产生的实时数据，所述第二类数据包括：工业环境中网络安全设备的流量数据以及第三方监控设备中应用程序的日志数据和系统日志数据，从而实现了对工业现场中相互关联、分布式异构的数据源进行全生命周期的汇总采集；通过所述数据采集模块与数据存储模块、所述数据存储模块相连，所述数据采集模块基于TCP/IP协议的以太网模式对工业现场中第一类数据和第二类数据进行采集，并将第一类数据经由消息中间件传输至数据存储模块中进行存储、将第二类数据上传到数据转换模块中进行转换，所述数据转换模块接收所述数据采集模块传输的所述第二类数据，并将接收的第二类数据转换为结构化数据，从而实现了数据的统一化处理，便于数据分析模块对输入的数据进行分析和显示，从而有利于后续利用该数据做出更优的决策。
另外，所述消息中间件为kafka，或者，所述消息中间件为kafka结合远程字典服务。
另外，所述数据采集模块包括第一采集模组和第二采集模组，所述第一采集模组与所述数据存储模块相连，所述第二采集模组与所述数据转换模块相连；所述第一采集模组利用OPC-UA协议把第一类数据上传至SCADA主机中，通过抓包方式获取SCADA主机游经工业网关的数据、并通过消息队列协议传输至消息中间件中，然后上传至数据存储模块；所述第二采集模组以ELK stack中的Beats系列工具为探针采集器，采集第二类数据，并将采集到的第二类数据通过端口监听方式上传到所述数据转换模块中。由于ELK栈的Beats全家桶以高性能、低内存占用率著称，部署在网络安全设备、工业防火墙中作为日志探针不影响主体业务的运作且能高效率的采集日志，真正达到了高性能、高可用、可扩展的生产目的。
另外，所述探针采集器包括Filebeat、Metricbeat和Packetbeat；所述Filebeat用于采集系统日志和应用日志；所述Metricbeat用于采集系统CPU使用率、内存、磁盘IO中至少一者的统计数据；所述Packetbeat用于采集网络设备的实时流量数据以及服务级别协议性能数据中至少一者。
另外，所述数据转换模块采用ELK stack的Logstash数据处理框架，所述数据转换模块包括：与所述数据采集模块相连的数据接收模组、与数据接收模组相连的所述数据转换模组、以及与所述数据转换模组相连的数据输出模组；所述数据接收模组用于使用LogstashD的input插件集合、接收数据采集模块采集到的数据中的第二类数据；所述数据转换模组用于将第二类数据转换为结构化数据；所述数据输出模组用于使用logstash的output插件、对数据转换模组完成处理的结构化数据输出到指定存储目标中。
另外，所述数据转化模组包括：与所述数据接收模组相连的数据清洗组件、与所述数据清洗组件相连的数据解析组件、以及与所述数据解析组件相连的数据转换组件；所述数据清洗组件用于使用logstash的grok插件并配合正则表达式、滤除所述第二类数据中的不完整的数据、错误的数据以及重复的数据；所述数据解析组件用于使用logstash的filter插件、定义字段名称以将第二类数据中滤除后剩余的数据赋值到字段上；所述数据转换组件用于将解析后的数据以结构化的形式输出。
另外，所述数据存储模块包括：分别与所述数据转换模块相连的实时数据库、关系型数据库以及NoSQL数据库；所述实时数据库用于存储报警日志、审计数据；所述关系型数据库用于存储系统配置；所述NoSQL数据库用于存储传感器数据。
另外，所述数据分析模块包括：可视化模块；所述可视化模块用于使用ELK stack的Kibana框架、实时观测生产环境中各个设备的运行情况、和/或调用数据库接口生成生产数据表报。
另外，所述数据分析模块还包括：数据挖掘模块；所述数据挖掘模块用于利用机器学习结合数据库中的历时数据、拟合计算来推断和预测目标数据的结果值、以确认新数据的流量是否异常。
另外，所述数据分析模块还包括：统计分析模块；所述统计分析模块用于使用生产过程相关的设备物理参数、工作状态数据、性能数据以及传感器数据中至少两者结合分析，评估工业系统生产设备的运行状态。
附图说明
图1是本发明第一实施方式提供的工业网络数据管理系统的结构示意图；
图2是本发明第一实施方式提供的工业网络数据管理系统的整体架构示意图；
图3是本发明第一实施方式提供的数据采集模块的结构示意图；
图4是本发明第一实施方式提供的数数据转换模块的结构示意图；
图5是本发明第一实施方式提供的数据存储模块的结构示意图；
图6是本发明第一实施方式提供的数据分析模块的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的各实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本发明各实施方式中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请所要求保护的技术方案。
本发明的第一实施方式涉及一种工业网络数据管理系统，如图1、2所示，包括：依次相连的数据采集模块11、数据转换模块12、数据存储模块13以及数据分析模块14，数据采集模块11还与数据存储模块13相连；数据采集模块11基于TCP/IP协议的以太网模式对工业现场中第一类数据和第二类数据进行采集，并将第一类数据经由消息中间件传输至数据存储模块13中、将第二类数据上传到数据转换模块12中；数据转换模块12接收数据采集模块11传输的第二类数据，并将接收的第二类数据转换为结构化数据；数据存储模块13接收并存储数据采集模块11传输的第一类数据、以及数据转换模块12传输的结构化后的第二类数据；数据分析模块14对输入的数据进行分析和显示；其中，第一类数据包括：工业现场中的各传感器和SCADA主机产生的实时数据，例如，PLC、DCS或CNC等各种生产设备产生的实时数据，第二类数据包括：工业环境中网络安全设备(例如，工业防火墙)的流量数据以及第三方监控设备中应用程序的日志数据和系统日志数据。
其中，消息中间件可以为kafka，或者，消息中间件可以为kafka结合远程字典服务(redis)，kafka和redis最大的区别是kafka是磁盘缓存技术，redis是内存缓存技术。
具体的，如图3所示，数据采集模块11包括第一采集模组111和第二采集模组112，第一采集模组111与数据存储模块13相连，第二采集模组112与数据转换模块12相连；第一采集模组111利用OPC-UA协议把第一类数据上传至SCADA主机中，通过抓包方式获取SCADA主机游经工业网关的数据、并通过消息队列协议(例如MQTT/AMQP/JMS等)传输至消息中间件中，然后上传至数据存储模块13；第二采集模组112以ELK stack中的Beats系列工具为探针采集器或代理的方式，采集第二类数据，并将采集到的第二类数据通过端口监听方式上传到数据转换模块12中。如此设置，避免了高并发引起的数据丢失、保证了数据的完整性。
由于ELK栈的Beats全家桶以高性能、低内存占用率著称，部署在网络安全设备、工业防火墙中作为日志探针不影响主体业务的运作且能高效率的采集日志，真正达到了高性能、高可用、可扩展的生产目的。
其中，探针采集器可以包括Filebeat、Metricbeat和Packetbeat，Filebeat用于采集系统日志和应用日志，Metricbeat用于采集系统CPU使用率、内存、磁盘IO中至少一者的统计数据，Packetbeat用于采集网络设备的实时流量数据以及服务级别协议(SLA)性能数据中至少一者。采集到的数据通过端口监听方式上传到logstash数据收集引擎中待进一步处理。另外，这类采集器的占系统资源比非常小可以忽略不计。
Kafka是一种分布式的消息队列中间件，它使用发布/订阅的模式来实现数据的流转和轻量级的数据转换，它有如下特点：
1)同时为发布和订阅提供高吞吐量。每秒可以生产约25万消息(50MB)，每秒处理55万消息(110MB)。
2)可进行持久化操作。例如ETL，以及实时应用程序。通过将数据持久化到硬盘以及replication防止数据丢失。
3)分布式系统，易于向外扩展。所有的producer、broker和consumer都会有多个，均为分布式的。无需停机即可扩展机器。
4)消息被处理的状态是在consumer端维护，而不是由server端维护。当失败时能自动平衡。
Kafka根据不同业务建立各种Topic供不同的组件消费(Consumer)。我们把已经结构化的数据持久化到数据库中；把非结构化的数据传输到Logstash中继续处理，例如，系统日志、审计日志和应用程序的日志等等。
通过数据采集模块11，能够基于TCP/IP协议的以太网模式和基于工业传输协议对工业现场中相互关联、分布式异构的数据源进行全生命周期的汇总采集。从PLC、DCS已经CNC等生产设备中传输到SCADA主机中的数据可以通过MQTT或者JMS协议传输到Kafka分布式消息中间件中。非生产设备，比如工业防火墙、监控一体机和一些网络安全设备的业务日志和系统性能日志能够通过ELK栈的Beats全家桶采集设备中的结构化和非结构化的数据传输到Logstash的实时数据采集引擎中。Kafka的分布式和高性能特性满足了工业现场可根据生产规模进行可扩展，可收缩的部署日志采集传输服务器。
对于数据转换模块12，采用ELK stack的Logstash数据处理框架，数据转换模块12包括：与数据采集模块11相连的数据接收模组、与数据接收模组相连的数据转换模组、以及与数据转换模组相连的数据输出模组；数据接收模组用于使用LogstashD的input插件集合、接收数据采集模块11采集到的数据中的第二类数据；数据转换模组用于将第二类数据转换为结构化数据；数据输出模组用于使用logstash的output插件、对数据转换模组完成处理的结构化数据输出到指定存储目标中。
可选的，数据转化模组可以包括：与数据接收模组相连的数据清洗组件、与数据清洗组件相连的数据解析组件、以及与数据解析组件相连的数据转换组件；数据清洗组件用于使用logstash的grok插件并配合正则表达式、滤除第二类数据中的不完整的数据、错误的数据以及重复的数据；数据解析组件用于使用logstash的filter插件、定义字段名称以将第二类数据中滤除后剩余的数据赋值到字段上；数据转换组件用于将解析后的数据以结构化的形式输出。
也就是说，如图4所示，数据转化模块业务上需要做的任务主要有：接收数据、清洗数据、解析数据、转换数据和输出数据。在接收数据步骤中，logstash使用input插件集合可以接收来自不同数据源的各种类型的非结构化数据，例如Beat组件上报的各种系统实时数据、从kafka缓存队列中获取的上位机数据或者是应用服务器的程序日志，等等。在清洗数据步骤中，使用logstash的grok插件并配合正则表达式过滤出想要的数据，针对目前工业数据中的庞、杂、脏的特性产生的，我们需要清洗掉不符合业务要求的数据，比如不完整的数据、错误的数据、重复的数据。在解析数据步骤中，使用logstash的filter插件定义字段名称将解析的内容赋值到字段上，即，从业务角度出发，对清洗后的文本进行字段赋值。在转换数据步骤中，讲将解析完成的数据通过结构化的形式展现出来，例如，json格式或者xml格式。在输出数据步骤中，使用logstash的output插件对完成处理的结构化数据输出到指定存储目标中，例如，Elasticsearch搜索引擎、syslog或者是MySQL数据库库。
通过数据转化模块，能够对从传感器、SCADA、网络安全设备中采集到的数据，经过清洗、检验、转换得到规范化统一的信息持久化到数据仓库中。从生产设备和非生产设备中采集的数据是五花八门，结构各异的，我们通过Kafka和Logstash作为数据传输管道，管道中通过对不同数据分门别类进行清洗、解析和转换形成业务上需要的数据结构的形成再存储到数据库中。达到了数据多源采集，统一化处理的目的。
对于数据存储模块13，如图5所示，其包括：分别与数据转换模块12相连的实时数据库、关系型数据库以及NoSQL数据库；实时数据库用于存储报警日志、审计数据；关系型数据库用于存储系统配置；NoSQL数据库用于存储传感器数据。
其中，实时数据库(Elasticsearch，ES)，它是一个分布式、高扩展、高实时的数据存储与搜索引擎。由于是基于Lucene开发的搜索服务器，因此它使用了倒排索引实现了全文检索功能。意思就是在海量数据(PB级别)环境中，通过任意关键字就能在1秒之内检索出包含关键字的结果。另外，通过分布式部署实现了数据的高可用和高扩展性，不用担心由于硬件损坏而丢失数据的情况。因此，本实施方式中，将报警日志、审计数据应用ES存储和检索。
关系型数据库(MySQL)，以往我们把业务数据和基础都存放在MySQL数据库中，数据量日益庞大的时候，查询性能显著降低，分库分表忙的不亦乐乎。其实，根据MySQL的设计思想是不适合存储数据量庞大，事务要求低，结构复杂的数据的，它适合存储系统配置和事务要求高的类型的数据。因此，本实施方式中，将系统配置这一结构简单、事务要求低的数据存储在MySQL。
NoSQL数据库(Redis)，它是一种key-value形式的内存数据库，具有缓存和消息代理的功能，他支持的数据结构有字符串、哈希、列表和集合等。由于传感器数据是种高频且结构简单的数据，因此，本实施方式中，通过获取上位机中传感器的数据实时的缓存或代理到Redis中，以便后续的展示和分析使用。
通过数据存储模块13，能够根据业务场景不同分别将数据存储于高性能搜索引擎数据库、关系型数据库和NoSQL数据库中，通过API形式对应用层业务提供数据查询、数据分析和数据探索。能够通过海量数据结合数据挖掘技术和统计分析的，最终以可视化的方式为决策者提供科学可靠的判断依据，既提高生产效率，又保障生产安全。
对于数据分析模块14，如图6所示，其可以包括：可视化模块、数据挖掘模块和统计分析模块中任一者或其组合，其中，可视化模块用于使用ELK stack的Kibana框架、实时观测生产环境中各个设备的运行情况、和/或调用数据库接口生成生产数据表报。具体的，可视化模块是一个开源可视化分析框架，与Elasticsearch无缝连接，通过ES或Redis提供的接口可以实时观测生产环境中各个设备的运行情况，操作员可以在web界面中设置业务阈值来或下达对管理设备的操作指令来掌控生产环境的运行状态，还可以通过选择查询条件调用数据库接口生成生产数据表报，以供管理人员进行实时分析，把控工厂的生产状态。
其中，数据挖掘模块用于利用机器学习结合数据库中的历时数据、拟合计算来推断和预测目标数据的结果值、以确认新数据的流量是否异常。具体的，数据挖掘模块是通过机器学习的方法结合数据仓库中的历时数据拟合计算来推断和预测目标数据的结果值，例如利用历时库中的流量数据结合支持向量机之类的分类算法界定出异常流量和正常流量，反复多次取样、计算、建模，最终得出一个最佳模型，以此来预测新数据的流量是否异常。在实际应用过程中我们需要使用不同算法对同一样本数据进行多次建模分析，以提高预测准确率。
其中，统计分析模块用于使用生产过程相关的设备物理参数、工作状态数据、性能数据以及传感器数据中至少两者结合分析，评估工业系统生产设备的运行状态。具体的，统计分析模块是使用生产过程相关的设备物理参数、工作状态数据、性能数据以及传感器数据多维度结合分析，评估工业系统生产设备等运行状态和健康情况，以可供后续管理人员对现有生产情况作出正确决策和分析。
通过数据分析模块14，能够通过海量数据结合数据挖掘技术和统计分析的，最终以可视化的方式为决策者提供科学可靠的判断依据，既提高生产效率，又保障生产安全。
本发明实施方式相对于现有技术而言，通过数据采集模块11基于TCP/IP协议的以太网模式对工业现场中第一类数据和第二类数据进行采集，其中，第一类数据包括：工业现场中的各传感器和SCADA主机产生的实时数据，第二类数据包括：工业环境中网络安全设备的流量数据以及第三方监控设备中应用程序的日志数据和系统日志数据，从而实现了对工业现场中相互关联、分布式异构的数据源进行全生命周期的汇总采集；通过数据采集模块11与数据存储模块13、数据存储模块13相连，数据采集模块11基于TCP/IP协议的以太网模式对工业现场中第一类数据和第二类数据进行采集，并将第一类数据经由消息中间件传输至数据存储模块13中进行存储、将第二类数据上传到数据转换模块12中进行转换，数据转换模块12接收数据采集模块11传输的第二类数据，并将接收的第二类数据转换为结构化数据，从而实现了数据的统一化处理，便于数据分析模块14对输入的数据进行分析和显示，从而有利于后续利用该数据做出更优的决策。
本领域的普通技术人员可以理解，上述各实施方式是实现本发明的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。
Claims (9)
1.一种工业网络数据管理系统，其特征在于，包括：依次相连的数据采集模块、数据转换模块、数据存储模块以及数据分析模块，所述数据采集模块还与所述数据存储模块相连；
所述数据采集模块基于TCP/IP协议的以太网模式对工业现场中第一类数据和第二类数据进行采集，并将第一类数据经由消息中间件传输至数据存储模块中、将第二类数据上传到数据转换模块中；其中，所述数据采集模块包括第一采集模组和第二采集模组，所述第一采集模组与所述数据存储模块相连，所述第二采集模组与所述数据转换模块相连；
所述第一采集模组利用OPC-UA协议把第一类数据上传至SCADA主机中，通过抓包方式获取SCADA主机游经工业网关的数据、并通过消息队列协议传输至消息中间件中，然后上传至数据存储模块；
所述第二采集模组以ELK stack中的Beats系列工具为探针采集器，采集第二类数据，并将采集到的第二类数据通过端口监听方式上传到所述数据转换模块中；
所述数据转换模块接收所述数据采集模块传输的所述第二类数据，并将接收的第二类数据转换为结构化数据；
所述数据存储模块接收并存储所述数据采集模块传输的第一类数据、以及所述数据转换模块传输的结构化后的第二类数据；
所述数据分析模块对输入的数据进行分析和显示；
其中，所述第一类数据包括：工业现场中的各传感器和SCADA主机产生的实时数据，所述第二类数据包括：工业环境中网络安全设备的流量数据以及第三方监控设备中应用程序的日志数据和系统日志数据。
2.根据权利要求1所述的工业网络数据管理系统，其特征在于，所述消息中间件为kafka，或者，所述消息中间件为kafka结合远程字典服务。
3.根据权利要求2所述的工业网络数据管理系统，其特征在于，所述探针采集器包括Filebeat、Metricbeat和Packetbeat；
所述Filebeat用于采集系统日志和应用日志；
所述Metricbeat用于采集系统CPU使用率、内存、磁盘IO中至少一者的统计数据；
所述Packetbeat用于采集网络设备的实时流量数据以及服务级别协议性能数据中至少一者。
4.根据权利要求1所述的工业网络数据管理系统，其特征在于，所述数据转换模块采用ELK stack的Logstash数据处理框架，所述数据转换模块包括：与所述数据采集模块相连的数据接收模组、与数据接收模组相连的数据转换模组、以及与所述数据转换模组相连的数据输出模组；
所述数据接收模组用于使用LogstashD的input插件集合、接收数据采集模块采集到的数据中的第二类数据；
所述数据转换模组用于将第二类数据转换为结构化数据；
所述数据输出模组用于使用logstash的output插件、对数据转换模组完成处理的结构化数据输出到指定存储目标中。
5.根据权利要求4所述的工业网络数据管理系统，其特征在于，所述数据转化模组包括：与所述数据接收模组相连的数据清洗组件、与所述数据清洗组件相连的数据解析组件、以及与所述数据解析组件相连的数据转换组件；
所述数据清洗组件用于使用logstash的grok插件并配合正则表达式、滤除所述第二类数据中的不完整的数据、错误的数据以及重复的数据；
所述数据解析组件用于使用logstash的filter插件、定义字段名称以将第二类数据中滤除后剩余的数据赋值到字段上；
所述数据转换组件用于将解析后的数据以结构化的形式输出。
6.根据权利要求1所述的工业网络数据管理系统，其特征在于，所述数据存储模块包括：分别与所述数据转换模块相连的实时数据库、关系型数据库以及NoSQL数据库；
所述实时数据库用于存储报警日志、审计数据；
所述关系型数据库用于存储系统配置；
所述NoSQL数据库用于存储传感器数据。
7.根据权利要求1所述的工业网络数据管理系统，其特征在于，所述数据分析模块包括：可视化模块；
所述可视化模块用于使用ELK stack的Kibana框架、实时观测生产环境中各个设备的运行情况、和/或调用数据库接口生成生产数据表报。
8.根据权利要求7所述的工业网络数据管理系统，其特征在于，所述数据分析模块还包括：数据挖掘模块；
所述数据挖掘模块用于利用机器学习结合数据库中的历时数据、拟合计算来推断和预测目标数据的结果值、以确认新数据的流量是否异常。
9.根据权利要求8所述的工业网络数据管理系统，其特征在于，所述数据分析模块还包括：统计分析模块；
所述统计分析模块用于使用生产过程相关的设备物理参数、工作状态数据、性能数据以及传感器数据中至少两者结合分析，评估工业系统生产设备的运行状态。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011613898.1A CN112749153B (zh) | 2020-12-30 | 2020-12-30 | 一种工业网络数据管理系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011613898.1A CN112749153B (zh) | 2020-12-30 | 2020-12-30 | 一种工业网络数据管理系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112749153A CN112749153A (zh) | 2021-05-04 |
| CN112749153B true CN112749153B (zh) | 2024-06-18 |
Family
ID=75649971
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011613898.1A Active CN112749153B (zh) | 2020-12-30 | 2020-12-30 | 一种工业网络数据管理系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112749153B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113552836A (zh) * | 2021-07-09 | 2021-10-26 | 武汉数信科技有限公司 | 一种可编程控制器的信息交互方法及系统 |
| CN113901271A (zh) * | 2021-12-10 | 2022-01-07 | 飞狐信息技术（天津）有限公司 | 基于电子表格配置系统的方法、装置、存储介质和设备 |
| CN114817375B (zh) * | 2022-06-24 | 2022-11-01 | 深圳市智联物联科技有限公司 | 工业互联网数据采集管理系统 |
| CN116132317B (zh) * | 2022-12-12 | 2024-06-07 | 南京理工大学 | 工业互联网数据采集分析及可视化一体系统及其部署方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110502559A (zh) * | 2019-07-25 | 2019-11-26 | 浙江公共安全技术研究院有限公司 | 一种可信安全跨域数据交换的数据总线及传输方法 |
| CN111930886A (zh) * | 2020-07-06 | 2020-11-13 | 国网江西省电力有限公司电力科学研究院 | 日志处理方法、系统、存储介质及计算机设备 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104216989B (zh) * | 2014-09-09 | 2018-05-08 | 广东电网公司中山供电局 | 一种基于HBase的输电线路综合数据存储方法 |
| CN106339509A (zh) * | 2016-10-26 | 2017-01-18 | 国网山东省电力公司临沂供电公司 | 一种基于大数据技术的电网运营数据共享系统 |
| KR102085655B1 (ko) * | 2019-06-17 | 2020-03-06 | 김혜리 | 전력선 통신 게이트웨이를 이용한 산업용 plc 연동 및 스마트 팩토리 설비 원격 모니터링 시스템 및 이를 이용한 a/s 유지보수 방법 |
-
2020
- 2020-12-30 CN CN202011613898.1A patent/CN112749153B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110502559A (zh) * | 2019-07-25 | 2019-11-26 | 浙江公共安全技术研究院有限公司 | 一种可信安全跨域数据交换的数据总线及传输方法 |
| CN111930886A (zh) * | 2020-07-06 | 2020-11-13 | 国网江西省电力有限公司电力科学研究院 | 日志处理方法、系统、存储介质及计算机设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112749153A (zh) | 2021-05-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112749153B (zh) | 一种工业网络数据管理系统 | |
| CN110868336B (zh) | 数据管理方法、装置和计算机可读存储介质 | |
| CN105608144B (zh) | 一种基于多层模型迭代的大数据分析平台装置及方法 | |
| CN110430260B (zh) | 一种基于大数据云计算支撑的机器人云平台及工作方法 | |
| CN113254529A (zh) | 一种基于边缘计算和HiTSDB存储的工业物联网平台 | |
| Tas et al. | An approach to standalone provenance systems for big social provenance data | |
| KR102067032B1 (ko) | 하이브리드 빅데이터 시스템 기반 데이터 처리 방법 및 시스템 | |
| CN116166505B (zh) | 金融行业双态it架构的监控平台、方法、存储介质及设备 | |
| Ferry et al. | Towards a big data platform for managing machine generated data in the cloud | |
| CN107273554A (zh) | 电梯智能监控系统与方法 | |
| CN114372084A (zh) | 面向传感流数据的实时处理系统 | |
| CN111708667A (zh) | 一种业务边缘计算方法及系统 | |
| Bautista et al. | Shasta log aggregation, monitoring and alerting in HPC environments with Grafana Loki and ServiceNow | |
| Cao et al. | Analytics everywhere for streaming iot data | |
| CN115391429A (zh) | 基于大数据云计算的时序数据处理方法及装置 | |
| Maske et al. | A real time processing and streaming of wireless network data using storm | |
| US11755453B1 (en) | Performing iterative entity discovery and instrumentation | |
| KR101878291B1 (ko) | 에너지 빅데이터 관리 시스템 및 그 방법 | |
| Chira et al. | A system for managing and processing industrial sensor data: SMS | |
| Ismail et al. | Reference architecture for search infrastructure | |
| CN116506300A (zh) | 一种网站流量数据统计方法和系统 | |
| CN114625763A (zh) | 用于数据库的信息分析方法、装置、电子设备和可读介质 | |
| CN108959041A (zh) | 信息发送的方法、服务器及计算机可读存储介质 | |
| Sun et al. | Design and Development of a Log Management System Based on Cloud Native Architecture | |
| CN118277625B (zh) | 一种分布式电磁大数据处理系统及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |