CN108540304B - 基于工业大数据的远程采集监视系统及方法 - Google Patents
基于工业大数据的远程采集监视系统及方法 Download PDFInfo
- Publication number
- CN108540304B CN108540304B CN201810145406.7A CN201810145406A CN108540304B CN 108540304 B CN108540304 B CN 108540304B CN 201810145406 A CN201810145406 A CN 201810145406A CN 108540304 B CN108540304 B CN 108540304B
- Authority
- CN
- China
- Prior art keywords
- data
- characteristic value
- industrial big
- monitoring
- big data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 170
- 238000000034 method Methods 0.000 title claims abstract description 66
- 230000008569 process Effects 0.000 claims abstract description 30
- 238000007405 data analysis Methods 0.000 claims abstract description 27
- 238000006243 chemical reaction Methods 0.000 claims abstract description 19
- 238000007906 compression Methods 0.000 claims abstract description 17
- 230000006835 compression Effects 0.000 claims abstract description 17
- 238000013144 data compression Methods 0.000 claims description 29
- 230000002776 aggregation Effects 0.000 claims description 25
- 238000004220 aggregation Methods 0.000 claims description 24
- 238000012545 processing Methods 0.000 claims description 17
- 230000006837 decompression Effects 0.000 claims description 13
- 239000000284 extract Substances 0.000 claims description 6
- 230000004044 response Effects 0.000 claims description 6
- 238000004891 communication Methods 0.000 abstract description 2
- 230000005540 biological transmission Effects 0.000 description 20
- 238000012423 maintenance Methods 0.000 description 13
- 238000002955 isolation Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000013480 data collection Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000001681 protective effect Effects 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/0654—Management of faults, events, alarms or notifications using network fault recovery
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/04—Processing captured monitoring data, e.g. for logfile generation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/04—Protocols for data compression, e.g. ROHC
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/22—Parsing or analysis of headers
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer Security & Cryptography (AREA)
- Data Mining & Analysis (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Computer And Data Communications (AREA)
- Testing And Monitoring For Control Systems (AREA)
Abstract
本发明涉及通讯业务技术领域,公开了一种基于工业大数据的远程采集监视系统及方法。该远程采集监视系统包括:数据采集接口,用于通过多进程并发形式采集所述工业大数据,对所述工业大数据进行协议转换及首次封包上传,同时按照第一预设监测规则对上述三个过程进行监测并提取第一特征值,并将所述第一特征值及所述工业大数据一起进行首次封包上传;以及数据接收接口,用于对所述第一特征值及所述工业大数据进行数据解析及数值压缩的处理,并将处理后的所述第一特征值及所述工业大数据写入数据库,同时按照第三预设监测规则对上述四个过程进行监测并提取第三特征值,并将所述第一特征值、所述第三特征值及所述工业大数据一起写入所述数据库。
Description
技术领域
本发明涉及通讯业务技术领域,具体地涉及基于工业大数据的远程采集监视系统及方法。
背景技术
云计算、物联网、大量社交网络的兴起使我们各行各业每时每刻都在产生和处理海量的数据,大数据时代已经到来。大数据应用具有数量巨大,数据种类繁多,数据有待快速处理,以及数据价值不明确等特点。
工业大数据是制造业在生产过程中产生的大数据。工业大数据以海量、多来源、异构(结构化、半结构化和非结构化数据并存)、增长速度快等为主要特点。与传统互联网大数据相比,具有更强的专业性、关联性、流程性、时序性和解析性。
工业大数据的采集,主要是运用工业互联网技术进行远程数据采集或可视化采集,通过采集软件在工业互联网中进行广域的、大规模的、实时的采集和传递,经过多次汇聚和转发,最终发送给大数据平台作为分析和应用的数据源。工业大数据采集监视,主要包括以下三个方面:监视采集网络状态、采集程序运行状态及收集故障信息等;评价采集系统的可靠性和高效性;在发生事故时能快速地找到和分析事故的原因,找到恢复采集的最佳方法。
传统的数据采集监视方式,主要包括以下三个方面:写日志文件,定期拷贝到服务器;从采集程序向服务器上传时间、事件/内容这类半结构化数据,当采集链路长、网络状况不确定等情况时,需要进行数据压缩、数据加密等处理,之后再传输这些数据;或者采集程序将这些监视信息结构化写入本地关系数据库,再由服务器自行读取。传统数据采集监视方法,已经不适合工业大数据瞬息万变的要求。其主要问题是需要为网络监视单独进行处理,包括日志的存储、备份、解析等,网络层级越多,日志的收集和传输尤为不方便,很难在短时间内解析和查询到远程节点的日志信息。
工业大数据的采集监视方式面临的主要问题是,广域分布的工业控制系统数据源复杂多变,数据传输网络链路较长,网络情况复杂,很容易出现传输问题。对运维人员来说,要保证大量数据的实时性、安全性和可靠性,需要及时监视各采集节点的性能、运行情况,监视网络传输情况,必须考虑当网络发生故障时如何快速定位排查的问题。
发明内容
本发明的目的是提供一种基于工业大数据的远程采集监视系统及方法,其不仅可以使运维人员实时了解各采集过程的情况,便于及时采取相应办法减轻采集服务器和网络传输的压力,快速解决网络故障,保障了工业大数据平台的安全、高效运行。
为了实现上述目的,本发明一方面提供一种基于工业大数据的远程采集监视系统,该远程采集监视系统包括:数据采集接口,用于通过多进程并发形式采集所述工业大数据,对所述工业大数据进行协议转换及首次封包上传,同时按照第一预设监测规则对所述数据采集、所述数据协议转换和/或所述数据首次封包上传进行监测并提取第一特征值,并将所述第一特征值及所述工业大数据一起进行首次封包上传;以及数据接收接口,用于接收首次封包上传的所述第一特征值及所述工业大数据,对所述第一特征值及所述工业大数据进行数据解析及数值压缩的处理,并将处理后的所述第一特征值及所述工业大数据写入数据库,同时按照第三预设监测规则对所述数据接收、所述数据解析、所述数据压缩和/或所述数据写入数据库进行监测并提取第三特征值,并将所述第一特征值、所述第三特征值及所述工业大数据一起写入所述数据库。
可选的,该远程采集监视系统还包括:数据汇聚接口,用于接收首次封包上传的所述第一特征值及所述工业大数据,对所述首次封包上传的所述第一特征值及所述工业大数据进行数据汇总、数据压缩、数据加密及二次封包上传,同时按照第二预设监测规则对所述数据接收、所述数据汇总、所述数据压缩、所述数据加密和/或所述数据二次封包上传进行监测并提取第二特征值,并将所述第一特征值、所述第二特征值及所述工业大数据一起进行二次封包上传,所述数据接收接口用于接收二次封包上传的所述第一特征值、所述第二特征值及所述工业大数据,对所述第一特征值、所述第二特征值及所述工业大数据进行数据解密、数据解压缩、数据解析及数值压缩的处理,并将处理后的所述第一特征值、所述第二特征值及所述工业大数据写入数据库,同时按照第三预设监测规则对所述数据接收、所述数据解密、所述数据解压缩、所述数据解析、所述数据压缩和/或所述数据写入数据库进行监测并提取第三特征值,并将所述第一特征值、所述第二特征值、所述第三特征值及所述工业大数据一起写入所述数据库。
可选的,所述远程采集监视系统还包括:显示界面,用于显示所述数据采集接口、所述数据汇聚接口及所述数据接收接口的各个数据处理过程所对应的特征值。
可选的,该远程采集监视系统还包括:报警装置,用于当所述第一特征值、所述第二特征值及所述第三特征值中的任一者超出预设范围时,发出报警提示。
可选的,所述第一预设监测规则、所述第二预设监测规则及所述第三预设监测规则包括:监测资源指标,该资源指标包括CPU平均利用率、内存使用率、网络带宽、端口状态及接口状态;以及监测系统指标,该系统指标包括并发用户数、平均响应时间、事务成功率及超时出错率。
相应的,本发明另一方面还提供一种基于工业大数据的远程采集监视方法,该远程采集监视方法包括:在数据采集接口处,通过多进程并发形式采集所述工业大数据,对所述工业大数据进行协议转换及首次封包上传,同时按照第一预设监测规则对所述数据采集、所述数据协议转换和/或所述数据首次封包上传进行监测并提取第一特征值,并将所述第一特征值及所述工业大数据一起进行首次封包上传;以及在数据接收接口处,接收首次封包上传的所述第一特征值及所述工业大数据,对所述第一特征值及所述工业大数据进行数据解析及数值压缩的处理,并将处理后的所述第一特征值及所述工业大数据写入数据库,同时按照第三预设监测规则对所述数据接收、所述数据解析、所述数据压缩和/或所述数据写入数据库进行监测并提取第三特征值,并将所述第一特征值及所述第三特征值及所述工业大数据一起写入所述数据库。
可选的,所述接收首次封包上传的所述第一特征值及所述工业大数据,对所述第一特征值及所述工业大数据进行数据解析及数值压缩的处理,并将处理后的所述第一特征值及所述工业大数据写入数据库,同时按照第三预设监测规则对所述数据接收、所述数据解析、所述数据压缩和/或所述数据写入数据库进行监测并提取第三特征值,并将所述第一特征值、所述第三特征值及所述工业大数据一起写入所述数据库包括:在数据汇聚接口处,接收首次封包上传的所述第一特征值及所述工业大数据,对所述首次封包上传的所述第一特征值及所述工业大数据进行数据汇总、数据压缩、数据加密及二次封包上传,同时按照第二预设监测规则对所述数据接收、所述数据汇总、所述数据压缩、所述数据加密和/或所述数据二次封包上传进行监测并提取第二特征值,并将所述第一特征值及所述第二特征值及所述工业大数据一起进行二次封包上传;以及在所述数据接收接口处,接收二次封包上传的所述第一特征值、所述第二特征值及所述工业大数据,对所述第一特征值、所述第二特征值及所述该工业大数据进行数据解密、数据解压缩、数据解析及数值压缩的处理,并将处理后的所述第一特征值、所述第二特征值及所述工业大数据写入数据库,同时按照第三预设监测规则对所述数据接收、所述数据解密、所述数据解压缩、所述数据解析、所述数据压缩和/或所述数据写入数据库进行监测并提取第三特征值,并将所述第一特征值、所述第二特征值及所述第三特征值及所述工业大数据一起写入所述数据库。
可选的,所述远程采集监视方法还包括:显示所述数据采集接口、所述数据汇聚接口及所述数据接收接口处的各个数据处理过程所对应的特征值。
可选的,该远程采集监视方法还包括:当所述第一特征值、所述第二特征值及所述第三特征值中的任一者超出预设范围时,发出报警提示。
可选的,所述第一预设监测规则、所述第二预设监测规则及所述第三预设监测规则包括:监测资源指标,该资源指标包括CPU平均利用率、内存使用率、网络带宽、端口状态及接口状态;以及监测系统指标,该系统指标包括并发用户数、平均响应时间、事务成功率及超时出错率。
通过上述技术方案,本发明可同时实现工业大数据的远程采集和远程采集监视过程,即按照预设监测规则将数据采集过程的特征值与所采集的工业大数据一起处理及传输到数据库。这样不仅可以使运维人员实时了解各采集过程的情况,便于及时采取相应办法减轻采集服务器和网络传输的压力,快速解决网络故障;还可以方便的计算从数据采集接口到数据接收接口数据传输的效率,极大地提高了数据采集过程中数据的安全性能和可靠程度,减少了维护人员的数量和工作量。
附图说明
图1是本发明一种实施方式提供的基于工业大数据的远程采集监视系统的流程图;
图2是本发明一种实施方式提供的基于工业大数据的远程采集监视系统的结构图;
图3是本发明一种实施方式提供的数据采集接口的监视测点的结构图;
图4是本发明一种实施方式提供的数据汇聚接口的监视测点的结构图;
图5是本发明一种实施方式提供的数据接收接口的监视测点的结构图;以及
图6是本发明一种实施方式提供的基于工业大数据的远程采集监视方法的流程图。
附图标记说明
1 数据采集接口 2 数据接收接口
3 数据库 4 工业控制系统
5 智能传感器 6 数据汇聚接口
7 网络隔离装置 8 网络隔离装置
9 显示界面 10 报警装置
11 数据采集接口 33 内部数据源
40 数据源 41 数据源
42 数据源 44 内部数据源
55 内部数据源 66 数据汇聚接口
100 采集程序 200 接收程序
600 汇聚程序
具体实施方式
以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是,此处所描述的具体实施方式仅用于说明和解释本发明,并不用于限制本发明。
图1是本发明一实施例提供的基于工业大数据的远程采集监视系统的流程图。如图1所示,本发明提供的远程采集监视系统可包括:数据采集接口1,用于通过多进程并发形式采集所述工业大数据,对所述工业大数据进行协议转换及首次封包上传,同时按照第一预设监测规则对所述数据采集、所述数据协议转换和/或所述数据首次封包上传进行监测并提取第一特征值,并将所述第一特征值及所述工业大数据一起进行首次封包上传;以及数据接收接口2,用于接收首次封包上传的所述第一特征值及所述工业大数据,对所述第一特征值及所述工业大数据进行数据解析及数值压缩的处理,并将处理后的所述第一特征值及所述工业大数据写入数据库3,同时按照第三预设监测规则对所述数据接收、所述数据解析、所述数据压缩和/或所述数据写入数据库进行监测并提取第三特征值,并将所述第一特征值、所述第三特征值及所述工业大数据一起写入所述数据库3。其中,所述工业大数据可包括来自于工业控制系统4的数据及智能传感器5的数据;所述数据采集接口1可采集多个来自所述工业控制系统4和/或所述智能传感器5的数据源,例如数据源40、数据源41、数据源42……等等,如图3所示。所述远程采集监视系统可同时实现工业大数据的远程采集和远程采集监视过程,即按照预设监测规则将数据采集过程的特征值与所采集的工业大数据一起处理及传输到数据库。这样不仅可以使运维人员实时了解各采集过程的情况,便于及时采取相应办法减轻采集服务器和网络传输的压力,快速解决网络故障;还可以方便的计算从数据采集接口到数据接收接口数据传输的效率,极大地提高了数据采集过程中数据的安全性能和可靠程度,减少了维护人员的数量和工作量。
如图2所示,本发明提供的基于工业大数据的远程采集监视系统还可包括:数据汇聚接口6,用于接收首次封包上传的所述第一特征值及所述工业大数据,对所述首次封包上传的所述第一特征值及所述工业大数据进行数据汇总、数据压缩、数据加密及二次封包上传,同时按照第二预设监测规则对所述数据接收、所述数据汇总、所述数据压缩、所述数据加密和/或所述数据二次封包上传进行监测并提取第二特征值,并将所述第一特征值、所述第二特征值及所述工业大数据一起进行二次封包上传,所述数据接收接口2用于接收二次封包上传的所述第一特征值、所述第二特征值及所述工业大数据,对所述第一特征值、所述第二特征值及所述工业大数据进行数据解密、数据解压缩、数据解析及数值压缩的处理,并将处理后的所述第一特征值、所述第二特征值及所述工业大数据写入数据库3,同时按照第三预设监测规则对所述数据接收、所述数据解密、所述数据解压缩、所述数据解析、所述数据压缩和/或所述数据写入数据库进行监测并提取第三特征值,并将所述第一特征值、所述第二特征值、所述第三特征值及所述工业大数据一起写入所述数据库3。所述数据汇聚接口6可接收一个或多个数据采集接口(如图4所示的多个数据采集接口可包括数据采集接口1、数据采集接口11、……等等)发送的数据。
如图2所示,所述数据采集接口1主要通过工控网(或数据传输协议)采集工业控制系统4或智能传感器5的实时变化的数据,然后通过工厂内网将所述数据上传到所述数据汇聚接口6。为了不影响原有数据源(工业控制系统4或智能传感器5)的网络系统,需要在所述数据采集接口1和所述数据汇聚接口6之间设置网络隔离装置7,以及在所述数据汇聚接口6和所述数据接收接口2之间设置网络隔离装置8,如图2所示。其中,所述网络隔离装置7及所述网络隔离装置8一般采用防火墙或单向隔离器。
其中,所述第一预设监测规则、所述第二预设监测规则及所述第三预设监测规则可包括:监测资源指标,该资源指标可包括CPU平均利用率、内存使用率、网络带宽、端口状态及接口状态等;以及监测系统指标,该系统指标可包括并发用户数、平均响应时间、事务成功率及超时出错率等。通过监视所述资源指标及所述系统指标,可以方便、直接地监视各接口处的物理机的性能和网络的运行情况。本发明中的资源指标及系统指标并不限于本实施例中的情况,只要是相关程序可以获取到的运行参数或系统参数即可。
如图3所示,所述数据采集接口1可按照第一预设监测规则在各个数据处理过程中的第一特征值作为内部数据源33,随同所述工业控制系统4或所述智能传感器5产生的外部数据源一起采集、处理与上传。所述数据采集接口1可通过采集软件提取第一特征值的过程如下:首先,定义监视测点,也就是说,可将数据采集、数据协议转换及数据首次封包上传分别定义为监视测点;然后,初始化所述监视测点;以及根据设定的采集周期分别提取所述监视测点所对应的第一特征值。如图4-5所示,所述数据汇聚接口6提取第二特征值及所述数据接收接口2提取第三特征值的过程也是如此,于此不再赘述。
本发明提供的基于工业大数据的远程采集监视系统还包括:显示界面9,用于将所述数据采集接口1、所述数据汇聚接口6及所述数据接收接口2的各个数据处理过程所对应的特征值。所述显示界面9可包括工业组态软件,该工业组态软件可以将所述数据采集接口1、所述数据汇聚接口6及所述数据接收接口2的各个数据处理过程作为监测测点进行图形化绘制,然后把所述监视测点所对应的特征值关联到各个图符,最后,利用所述工业组态软件运行后的监控画面将所述数据采集接口1、所述数据汇聚接口6及所述数据接收接口2处的各个物理机的性能和网络运行情况进行实时展示。通过所述工业组态软件的展示可以实时了解各接口处的物理机的使用状态,预测各接口的运行情况,便于及时采取相应办法减轻采集服务器和网络传输的压力,快速解决网络故障;可以方便的计算从采集端到接收端进行数据传输的效率,极大提高了数据采集过程中数据的安全性能和可靠程度,减少了维护人员的数量和工作量。本发明中对监视测点进行图形化绘制并不限于上述的工业组态软件,还可以开发个性化定制的组态软件。
本发明提供的基于工业大数据的远程采集监视系统还包括:该远程采集监视系统还包括:报警装置10,用于当所述第一特征值、所述第二特征值及所述第三特征值中的任一者超出预设范围时,发出报警提示。该报警装置10可通过所述工业组态软件控制发出报警提示,运维人员可通过各个特征值就可以简单准确地预测整个数据采集系统的故障,即利用工业组态流程图的预警技术,将周期性运维变为预测性运维。
具体而言,现以来自所述工业控制系统4的某个数据S的传输时间T为例来解释本发明提供的远程采集监视系统对工业大数据的采集监视过程。本实施例中的数据S采用如下数据结构体进行存储:
Name:测点名称4字节;
Flags:测点质量4字节;
PointType:测点类型4字节;
State:测点状态4字节;
Time:测点时间8字节;
Value:测点值同100字节。
对于所述数据采集接口1,所述数据采集接口1通过数据传输协议采集数据S,然后对该数据S进行协议转换及首次封包上传。同时,通过采集程序100根据设定的采集周期分别提取所述数据采集、所述数据协议转换及所述数据首次封包上传三个监视测点所对应的第一特征值,即,数据采集时间T00、数据协议转换时间T01及首次封包上传时间T02;然后将所述第一特征值(T00、T01及T02)及所述数据S一起进行首次封包上传至所述数据汇聚接口6。
对于所述数据汇聚接口6,所述数据汇聚接口6接收所述第一特征值(T00、T01及T02)及所述数据S,然后对所述第一特征值及所述数据S进行数据汇总、数据压缩、数据加密及二次封包上传。同时,通过汇聚程序600根据设定的采集周期分别提取所述数据接收、所述数据压缩、所述数据加密及所述数据二次封包上传五个监视测点所对应的第二特征值,即所述数据接收T10、所述数据汇总T11、所述数据压缩T12、所述数据加密T13及所述数据二次封包上传T14;然后将所述第一特征值(T00、T01及T02)、所述第二特征值(T10、T11、T12、T12及T14)及所述数据S一起进行二次封包上传至所述数据接收接口2。
对于所述数据接收接口2,所述数据接收接口2接收所述第一特征值(T00、T01及T02)、所述第二特征值(T10、T11、T12、T12及T14)及所述数据S,然后对所述第一特征值(T00、T01及T02)、所述第二特征值(T10、T11、T12、T13及T14)及所述数据S进行数据解密、数据解压缩、数据解析及数值压缩的处理,并将处理后的所述第一特征值(T00、T01及T02)、所述第二特征值(T10、T11、T12、T13及T14)及所述数据S写入数据库3。同时通过接收程序200根据设定的采集周期分别提取所述数据接收、所述数据解密、所述数据解压缩、所述数据解析、所述数据压缩及所述数据写入数据库六个监视测点所对应的第三特征值,即所述数据接收T20、所述数据解密T21、所述数据解压缩T22、所述数据解析T23、所述数据压缩T24及所述数据写入数据库T25;然后将所述第一特征值(T00、T01及T02)、所述第二特征值(T10、T11、T12、T13及T14)、所述第三特征值(T20、T21、T22、T23、T24及T25)及所述数据S一起写入所述数据库3。
所述远程采集监视系统可同时实现工业大数据的远程采集和远程采集监视过程,即按照预设监测规则将数据采集过程的特征值作为内部数据源与所采集的工业大数据一起处理及传输到数据库,不需要设置额外的服务器等监视设备,节省了服务器监视的资源和时间成本。
所述数据S在整个远程采集监视系统的传输时间T=T00.value+T01.value+T02.value++T10.value+T11.value+T12.value+T13.val ue+T14.value+T20.value+T21.value+T22.value+T23.value+T24.value+T25.valu e。通过T在各个数据处理过程中的数值,可以轻易查出所述数据S在传输过程中的故障点和改善点。当T在各个数据处理过程中的数值(例如T00.value、T01.value、T02.value、……等等)出现异常数据时,如为0或无穷大,报警装置10就立即进行警告提示,运维人员通过各个时间值就可以简单且准确地预测整个远程采集监视系统的故障点和改善点。
此外,所述显示界面9可通过工业组态软件将上述监视测点进行图形化绘制,实现对各接口处的物理机的性能和网络的运行情况进行实时监视,便于及时采取相应办法减轻采集服务器和网络传输的压力,快速解决网络故障。
本发明中的数据采集过程还可根据实际网络情况和安全状况等进行调整,比如,若使用较短的专线网络链路可省掉数据汇聚接口;若使用链路很长的广域网络,需要增加数据汇聚接口的汇聚层级,和/或采用压缩比更高的数据压缩算法及更安全的数据加密算法。
综上所述,本发明可同时实现工业大数据的远程采集和远程采集监视过程,即按照预设监测规则将数据采集过程的特征值与所采集的工业大数据一起处理及传输到数据库。这样不仅可以使运维人员实时了解各采集过程的情况,便于及时采取相应办法减轻采集服务器和网络传输的压力,快速解决网络故障;还可以方便的计算从数据采集接口到数据接收接口数据传输的效率,极大地提高了数据采集过程中数据的安全性能和可靠程度,减少了维护人员的数量和工作量。
本发明还提供一种基于工业大数据的远程采集监视方法,该远程采集监视方法包括:在数据采集接口处,通过多进程并发形式采集所述工业大数据,对所述工业大数据进行协议转换及首次封包上传,同时按照第一预设监测规则对所述数据采集、所述数据协议转换和/或所述数据首次封包上传进行监测并提取第一特征值,并将所述第一特征值及所述工业大数据一起进行首次封包上传;以及在数据接收接口处,接收首次封包上传的所述第一特征值及所述工业大数据,对所述第一特征值及所述工业大数据进行数据解析及数值压缩的处理,并将处理后的所述第一特征值及所述工业大数据写入数据库,同时按照第三预设监测规则对所述数据接收、所述数据解析、所述数据压缩和/或所述数据写入数据库进行监测并提取第三特征值,并将所述第一特征值及所述第三特征值及所述工业大数据一起写入所述数据库。
可选的,所述接收首次封包上传的所述第一特征值及所述工业大数据,对所述第一特征值及所述工业大数据进行数据解析及数值压缩的处理,并将处理后的所述第一特征值及所述工业大数据写入数据库,同时按照第三预设监测规则对所述数据接收、所述数据解析、所述数据压缩和/或所述数据写入数据库进行监测并提取第三特征值,并将所述第一特征值、所述第三特征值及所述工业大数据一起写入所述数据库包括:在数据汇聚接口处,接收首次封包上传的所述第一特征值及所述工业大数据,对所述首次封包上传的所述第一特征值及所述工业大数据进行数据汇总、数据压缩、数据加密及二次封包上传,同时按照第二预设监测规则对所述数据接收、所述数据汇总、所述数据压缩、所述数据加密和/或所述数据二次封包上传进行监测并提取第二特征值,并将所述第一特征值及所述第二特征值及所述工业大数据一起进行二次封包上传;以及在所述数据接收接口处,接收二次封包上传的所述第一特征值、所述第二特征值及所述工业大数据,对所述第一特征值、所述第二特征值及所述该工业大数据进行数据解密、数据解压缩、数据解析及数值压缩的处理,并将处理后的所述第一特征值、所述第二特征值及所述工业大数据写入数据库,同时按照第三预设监测规则对所述数据接收、所述数据解密、所述数据解压缩、所述数据解析、所述数据压缩和/或所述数据写入数据库进行监测并提取第三特征值,并将所述第一特征值、所述第二特征值及所述第三特征值及所述工业大数据一起写入所述数据库。
可选的,所述远程采集监视方法还包括:在所述数据接收接口处,将所述数据采集接口、所述数据汇聚接口及所述数据接收接口处的各个数据处理过程所对应的特征值。
可选的,该远程采集监视方法还包括:当所述第一特征值、所述第二特征值及所述第三特征值中的任一者超出预设范围时,发出报警提示。
可选的,所述第一预设监测规则、所述第二预设监测规则及所述第三预设监测规则包括:监测资源指标,该资源指标包括CPU平均利用率、内存使用率、网络带宽、端口状态及接口状态;以及监测系统指标,该系统指标包括并发用户数、平均响应时间、事务成功率及超时出错率。
有关本发明提供的基于工业大数据的远程采集监视方法的具体细节及益处可参阅上述针对基于工业大数据的远程采集监视系统的描述,于此不再赘述。
以上结合附图详细描述了本发明的优选实施方式,但是,本发明并不限于上述实施方式中的具体细节,在本发明的技术构思范围内,可以对本发明的技术方案进行多种简单变型,这些简单变型均属于本发明的保护范围。
另外需要说明的是,在上述具体实施方式中所描述的各个具体技术特征,在不矛盾的情况下,可以通过任何合适的方式进行组合。为了避免不必要的重复,本发明对各种可能的组合方式不再另行说明。
此外,本发明的各种不同的实施方式之间也可以进行任意组合,只要其不违背本发明的思想,其同样应当视为本发明所公开的内容。
Claims (10)
1.一种基于工业大数据的远程采集监视系统,其特征在于,该远程采集监视系统包括:
数据采集接口,用于通过多进程并发形式采集所述工业大数据,对所述工业大数据进行协议转换及首次封包上传,同时按照第一预设监测规则对所述数据采集、所述数据协议转换和/或所述数据首次封包上传进行监测并提取第一特征值,并将所述第一特征值及所述工业大数据一起进行首次封包上传,其中所述第一特征值为所述数据采集、所述数据协议转换及所述数据首次封包上传三个监视测点所对应的特征值;以及
数据接收接口,用于接收首次封包上传的所述第一特征值及所述工业大数据,对所述第一特征值及所述工业大数据进行数据解析及数值压缩的处理,并将处理后的所述第一特征值及所述工业大数据写入数据库,同时按照第三预设监测规则对所述数据接收、所述数据解析、所述数据压缩和/或所述数据写入数据库进行监测并提取第三特征值,并将所述第一特征值、所述第三特征值及所述工业大数据一起写入所述数据库,其中所述第三特征值为所述数据接收、所述数据解密、所述数据解压缩、所述数据解析、所述数据压缩及所述数据写入数据库六个监视测点所对应的特征值。
2.根据权利要求1所述的基于工业大数据的远程采集监视系统,其特征在于,该远程采集监视系统还包括:
数据汇聚接口,用于接收首次封包上传的所述第一特征值及所述工业大数据,对所述首次封包上传的所述第一特征值及所述工业大数据进行数据汇总、数据压缩、数据加密及二次封包上传,同时按照第二预设监测规则对所述数据接收、所述数据汇总、所述数据压缩、所述数据加密和/或所述数据二次封包上传进行监测并提取第二特征值,并将所述第一特征值、所述第二特征值及所述工业大数据一起进行二次封包上传,其中所述第二特征值为所述数据接收、所述数据压缩、所述数据加密及所述数据二次封包上传五个监视测点所对应的特征值,
所述数据接收接口用于接收二次封包上传的所述第一特征值、所述第二特征值及所述工业大数据,对所述第一特征值、所述第二特征值及所述工业大数据进行数据解密、数据解压缩、数据解析及数值压缩的处理,并将处理后的所述第一特征值、所述第二特征值及所述工业大数据写入数据库,同时按照第三预设监测规则对所述数据接收、所述数据解密、所述数据解压缩、所述数据解析、所述数据压缩和/或所述数据写入数据库进行监测并提取第三特征值,并将所述第一特征值、所述第二特征值、所述第三特征值及所述工业大数据一起写入所述数据库。
3.根据权利要求2所述的基于工业大数据的远程采集监视系统,其特征在于,所述远程采集监视系统还包括:
显示界面,用于显示所述数据采集接口、所述数据汇聚接口及所述数据接收接口的各个数据处理过程所对应的特征值。
4.根据权利要求2所述的基于工业大数据的远程采集监视系统,其特征在于,该远程采集监视系统还包括:
报警装置,用于当所述第一特征值、所述第二特征值及所述第三特征值中的任一者超出预设范围时,发出报警提示。
5.根据权利要求2所述的基于工业大数据的远程采集监视系统,其特征在于,所述第一预设监测规则、所述第二预设监测规则及所述第三预设监测规则包括:
监测资源指标,该资源指标包括CPU平均利用率、内存使用率、网络带宽、端口状态及接口状态;以及
监测系统指标,该系统指标包括并发用户数、平均响应时间、事务成功率及超时出错率。
6.一种基于工业大数据的远程采集监视方法,其特征在于,该远程采集监视方法包括:
在数据采集接口处,通过多进程并发形式采集所述工业大数据,对所述工业大数据进行协议转换及首次封包上传,同时按照第一预设监测规则对所述数据采集、所述数据协议转换和/或所述数据首次封包上传进行监测并提取第一特征值,并将所述第一特征值及所述工业大数据一起进行首次封包上传,其中所述第一特征值为所述数据采集、所述数据协议转换及所述数据首次封包上传三个监视测点所对应的特征值;以及
在数据接收接口处,接收首次封包上传的所述第一特征值及所述工业大数据,对所述第一特征值及所述工业大数据进行数据解析及数值压缩的处理,并将处理后的所述第一特征值及所述工业大数据写入数据库,同时按照第三预设监测规则对所述数据接收、所述数据解析、所述数据压缩和/或所述数据写入数据库进行监测并提取第三特征值,并将所述第一特征值、所述第三特征值及所述工业大数据一起写入所述数据库,其中所述第三特征值为所述数据接收、所述数据解密、所述数据解压缩、所述数据解析、所述数据压缩及所述数据写入数据库六个监视测点所对应的特征值。
7.根据权利要求6所述的基于工业大数据的远程采集监视方法,其特征在于,所述接收首次封包上传的所述第一特征值及所述工业大数据,对所述第一特征值及所述工业大数据进行数据解析及数值压缩的处理,并将处理后的所述第一特征值及所述工业大数据写入数据库,同时按照第三预设监测规则对所述数据接收、所述数据解析、所述数据压缩和/或所述数据写入数据库进行监测并提取第三特征值,并将所述第一特征值、所述第三特征值及所述工业大数据一起写入所述数据库包括:
在数据汇聚接口处,接收首次封包上传的所述第一特征值及所述工业大数据,对所述首次封包上传的所述第一特征值及所述工业大数据进行数据汇总、数据压缩、数据加密及二次封包上传,同时按照第二预设监测规则对所述数据接收、所述数据汇总、所述数据压缩、所述数据加密和/或所述数据二次封包上传进行监测并提取第二特征值,并将所述第一特征值及所述第二特征值及所述工业大数据一起进行二次封包上传,其中所述第二特征值为所述数据接收、所述数据压缩、所述数据加密及所述数据二次封包上传五个监视测点所对应的特征值;以及
在所述数据接收接口处,接收二次封包上传的所述第一特征值、所述第二特征值及所述工业大数据,对所述第一特征值、所述第二特征值及所述工业大数据进行数据解密、数据解压缩、数据解析及数值压缩的处理,并将处理后的所述第一特征值、所述第二特征值及所述工业大数据写入数据库,同时按照第三预设监测规则对所述数据接收、所述数据解密、所述数据解压缩、所述数据解析、所述数据压缩和/或所述数据写入数据库进行监测并提取第三特征值,并将所述第一特征值、所述第二特征值及所述第三特征值及所述工业大数据一起写入所述数据库。
8.根据权利要求7所述的基于工业大数据的远程采集监视方法,其特征在于,所述远程采集监视方法还包括:
显示所述数据采集接口、所述数据汇聚接口及所述数据接收接口处的各个数据处理过程所对应的特征值。
9.根据权利要求7所述的基于工业大数据的远程采集监视方法,其特征在于,该远程采集监视方法还包括:
当所述第一特征值、所述第二特征值及所述第三特征值中的任一者超出预设范围时,发出报警提示。
10.根据权利要求7所述的基于工业大数据的远程采集监视方法,其特征在于,所述第一预设监测规则、所述第二预设监测规则及所述第三预设监测规则包括:
监测资源指标,该资源指标包括CPU平均利用率、内存使用率、网络带宽、端口状态及接口状态;以及
监测系统指标,该系统指标包括并发用户数、平均响应时间、事务成功率及超时出错率。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810145406.7A CN108540304B (zh) | 2018-02-12 | 2018-02-12 | 基于工业大数据的远程采集监视系统及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810145406.7A CN108540304B (zh) | 2018-02-12 | 2018-02-12 | 基于工业大数据的远程采集监视系统及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108540304A CN108540304A (zh) | 2018-09-14 |
CN108540304B true CN108540304B (zh) | 2021-01-08 |
Family
ID=63486016
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810145406.7A Active CN108540304B (zh) | 2018-02-12 | 2018-02-12 | 基于工业大数据的远程采集监视系统及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108540304B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109507975A (zh) * | 2018-12-28 | 2019-03-22 | 飞马智科信息技术股份有限公司 | 一种工业大数据的采集网络系统 |
CN110502521B (zh) * | 2019-08-28 | 2023-05-09 | 上海寰创通信科技股份有限公司 | 一种档案库的建立方法 |
CN113783714A (zh) * | 2021-06-30 | 2021-12-10 | 高新兴科技集团股份有限公司 | 数据异常定位方法、系统、计算机存储介质及电子设备 |
CN114443746B (zh) * | 2022-01-21 | 2024-06-07 | 南京林科斯拉信息技术有限公司 | 可扩展高性能的运维指标项etl工具及应用方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103763396A (zh) * | 2014-02-12 | 2014-04-30 | 浙江大学 | 基于多协议并行采集技术的能耗数据采集器及其采集方法 |
CN105468492A (zh) * | 2015-11-17 | 2016-04-06 | 中国建设银行股份有限公司 | 一种基于搜索引擎的数据监控方法和系统 |
CN106357426A (zh) * | 2016-08-26 | 2017-01-25 | 东北大学 | 一种基于工业云的大规模分布式智能数据采集系统及方法 |
CN107479514A (zh) * | 2017-07-10 | 2017-12-15 | 昆明理工大学 | 一种工业大数据过程控制数据采集和传输系统与实现方法 |
CN107483358A (zh) * | 2017-08-24 | 2017-12-15 | 深圳市盛路物联通讯技术有限公司 | 一种基于物联网的数据传输方法及装置 |
-
2018
- 2018-02-12 CN CN201810145406.7A patent/CN108540304B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103763396A (zh) * | 2014-02-12 | 2014-04-30 | 浙江大学 | 基于多协议并行采集技术的能耗数据采集器及其采集方法 |
CN105468492A (zh) * | 2015-11-17 | 2016-04-06 | 中国建设银行股份有限公司 | 一种基于搜索引擎的数据监控方法和系统 |
CN106357426A (zh) * | 2016-08-26 | 2017-01-25 | 东北大学 | 一种基于工业云的大规模分布式智能数据采集系统及方法 |
CN107479514A (zh) * | 2017-07-10 | 2017-12-15 | 昆明理工大学 | 一种工业大数据过程控制数据采集和传输系统与实现方法 |
CN107483358A (zh) * | 2017-08-24 | 2017-12-15 | 深圳市盛路物联通讯技术有限公司 | 一种基于物联网的数据传输方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN108540304A (zh) | 2018-09-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110430260B (zh) | 一种基于大数据云计算支撑的机器人云平台及工作方法 | |
CN108540304B (zh) | 基于工业大数据的远程采集监视系统及方法 | |
US20110035187A1 (en) | Scalable and Extensible Framework for Storing and Analyzing Sensor Data | |
CN112099449A (zh) | 一种基于工业物联网云平台的设备数据采集系统 | |
JP2017511942A (ja) | プロセス制御システムにおける分散ビッグデータ、プロセス制御デバイス、分散ビッグデータの支援方法、プロセス制御デバイス | |
CN108566369B (zh) | 基于工业大数据的数据采集系统及方法 | |
CN111698267B (zh) | 一种工业控制系统信息安全测试系统及方法 | |
CN112749153B (zh) | 一种工业网络数据管理系统 | |
CN114024801B (zh) | 一种工业边缘计算服务网关 | |
CN113112038B (zh) | 智能监测与诊断分析系统、装置、电子设备及存储介质 | |
CN112186901A (zh) | 一种变电站全景感知监控方法及系统 | |
CN112988876B (zh) | 一种工业数据采集管理方法及系统 | |
CN112947364B (zh) | 一种基于大数据预警配电站设备故障的系统及方法 | |
WO2021147319A1 (zh) | 一种数据处理方法、装置、设备及介质 | |
CN112434078A (zh) | 一种锅炉数据的处理方法、装置、设备及存储介质 | |
CN112866364A (zh) | 一种工业互联网云平台 | |
CN111506672A (zh) | 实时分析环保监测数据的方法、装置、设备及存储介质 | |
CN117221354A (zh) | 多源异构数据实时采集、存储与分析方法及系统 | |
CN105446707A (zh) | 一种数据转换方法 | |
Zhai et al. | Remote control and data analysis system based on Alibaba Cloud | |
CN114666366A (zh) | 基于边缘计算的物联网数据采集系统、方法、介质及设备 | |
CN114257643A (zh) | 一种日志传输方法及系统 | |
CN106768652A (zh) | 油库监测方法和系统 | |
TWI438591B (zh) | 遠端資料獲取系統及方法 | |
CN111142493A (zh) | 一种用于工业安全监管的异构数据采集装置及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |