CN116881744B - 一种基于物联网的运维数据分发方法、装置、设备及介质 - Google Patents
一种基于物联网的运维数据分发方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN116881744B CN116881744B CN202311145975.9A CN202311145975A CN116881744B CN 116881744 B CN116881744 B CN 116881744B CN 202311145975 A CN202311145975 A CN 202311145975A CN 116881744 B CN116881744 B CN 116881744B
- Authority
- CN
- China
- Prior art keywords
- data
- information
- distribution
- strategy
- mathematical model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000009826 distribution Methods 0.000 title claims abstract description 150
- 238000000034 method Methods 0.000 title claims abstract description 75
- 238000012423 maintenance Methods 0.000 title claims abstract description 59
- 238000012545 processing Methods 0.000 claims abstract description 65
- 238000013178 mathematical model Methods 0.000 claims abstract description 52
- 230000003993 interaction Effects 0.000 claims abstract description 38
- 230000002787 reinforcement Effects 0.000 claims abstract description 37
- 238000005065 mining Methods 0.000 claims abstract description 23
- 238000013135 deep learning Methods 0.000 claims abstract description 14
- 238000007499 fusion processing Methods 0.000 claims abstract description 8
- 239000013598 vector Substances 0.000 claims description 63
- 230000009471 action Effects 0.000 claims description 38
- 230000006870 function Effects 0.000 claims description 36
- 238000007726 management method Methods 0.000 claims description 32
- 238000004458 analytical method Methods 0.000 claims description 26
- 238000010276 construction Methods 0.000 claims description 26
- 230000003068 static effect Effects 0.000 claims description 18
- 230000008859 change Effects 0.000 claims description 16
- 238000001914 filtration Methods 0.000 claims description 16
- 238000005457 optimization Methods 0.000 claims description 16
- 238000000605 extraction Methods 0.000 claims description 14
- 238000003860 storage Methods 0.000 claims description 13
- 230000005856 abnormality Effects 0.000 claims description 12
- 238000012549 training Methods 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000006243 chemical reaction Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 8
- 238000011156 evaluation Methods 0.000 claims description 8
- 238000013507 mapping Methods 0.000 claims description 8
- 230000002776 aggregation Effects 0.000 claims description 7
- 238000004220 aggregation Methods 0.000 claims description 7
- 230000004927 fusion Effects 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 6
- 238000007418 data mining Methods 0.000 claims description 4
- 230000006855 networking Effects 0.000 claims 2
- 230000005540 biological transmission Effects 0.000 abstract description 10
- 230000008569 process Effects 0.000 description 17
- 230000002159 abnormal effect Effects 0.000 description 16
- 230000000875 corresponding effect Effects 0.000 description 12
- 230000009467 reduction Effects 0.000 description 10
- 230000006399 behavior Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 8
- 238000000513 principal component analysis Methods 0.000 description 8
- 238000013528 artificial neural network Methods 0.000 description 7
- 230000009286 beneficial effect Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000013499 data model Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000009472 formulation Methods 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 239000000523 sample Substances 0.000 description 3
- 238000007405 data analysis Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 238000000638 solvent extraction Methods 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- KLDZYURQCUYZBL-UHFFFAOYSA-N 2-[3-[(2-hydroxyphenyl)methylideneamino]propyliminomethyl]phenol Chemical compound OC1=CC=CC=C1C=NCCCN=CC1=CC=CC=C1O KLDZYURQCUYZBL-UHFFFAOYSA-N 0.000 description 1
- 206010000117 Abnormal behaviour Diseases 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 201000001098 delayed sleep phase syndrome Diseases 0.000 description 1
- 208000033921 delayed sleep phase type circadian rhythm sleep disease Diseases 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000013450 outlier detection Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000013024 troubleshooting Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/092—Reinforcement learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供了一种基于物联网的运维数据分发方法、装置、设备及介质,涉及运维管理技术领域,包括获取第一信息、第二信息和第三信息;根据第一信息进行聚类处理得到分类数据;根据第二信息构建得到深度强化学习数学模型,并进行权限分配策略分析得到分配结果;根据第三信息进行关联规则和数据特征的挖掘处理得到数据交互策略;根据第三信息构建得到设备预测模型,并将分类数据作为设备预测模型的输入值得到预测结果;基于预设的深度学习数学模型对分类数据、分配结果、数据交互策略和预测结果进行融合处理得到智能分发规则。本发明通过采用智能化的数据分发规则,能够快速而准确地将数据分发到相应的管理层级节点,实现数据的高效传输和分发。
Description
技术领域
本发明涉及运维管理技术领域,具体而言,涉及一种基于物联网的运维数据分发方法、装置、设备及介质。
背景技术
在现代的大型企业环境中,企业通常在全球多个地域部署大量的设备和系统,这些设备和系统可能涵盖不同的行业领域,如服务器、网络设备、数据库、云平台、物联网设备等。在这种情况下,企业内部的运维团队需要管理大量的设备,监控多样化的系统,以保证所有设备和系统的稳定运行,确保业务的高效性能。当前的技术主要依赖手动操作和简单规则,运维团队往往需要耗费大量时间和精力来处理设备数据,且缺乏智能化决策支持。由于系统运行数据庞大且多样化,传统的分发策略和推送规则无法适应不断变化的场景,导致数据传输效率低下和运维效果不尽如人意。
基于上述现有技术的缺点,现亟需一种基于物联网的运维数据分发方法、装置、设备及介质。
发明内容
本发明的目的在于提供一种基于物联网的运维数据分发方法、装置、设备及介质,以改善上述问题。为了实现上述目的,本发明采取的技术方案如下:
第一方面,本申请提供了一种基于物联网的运维数据分发方法,包括:
获取第一信息、第二信息和第三信息,所述第一信息包括从物联网设备采集的设备性能指标、运行情况和日志数据,所述第二信息包括数据访问历史,所述第三信息包括历史采集数据;
根据所述第一信息进行聚类处理,将所述第一信息按照设备类型、地域和重要程度进行自适应分类处理得到分类数据;
根据所述第二信息构建得到深度强化学习数学模型,并基于所述深度强化学习数学模型进行权限分配策略分析得到分配结果,所述分配结果为不同管理层级的数据查看权限;
根据所述第三信息进行关联规则和数据特征的挖掘处理得到数据交互策略,所述数据交互策略包括数据静态分发策略和数据过滤策略;
根据所述第三信息构建得到设备预测模型,并将所述分类数据作为所述设备预测模型的输入值得到预测结果,所述预测结果包括设备和系统在未来预设时间段内的变化趋势和异常预警;
基于预设的深度学习数学模型对所述分类数据、所述分配结果、所述数据交互策略和所述预测结果进行融合处理得到智能分发规则,所述智能分发规则包括数据优先级规定、数据推送策略、分发路径选择和负载均衡策略。
第二方面,本申请还提供了基于物联网的运维数据分发装置,包括:
获取模块,用于获取第一信息、第二信息和第三信息,所述第一信息包括从物联网设备采集的设备性能指标、运行情况和日志数据,所述第二信息包括数据访问历史,所述第三信息包括历史采集数据;
聚类模块,用于根据所述第一信息进行聚类处理,将所述第一信息按照设备类型、地域和重要程度进行自适应分类处理得到分类数据;
分配模块,用于根据所述第二信息构建得到深度强化学习数学模型,并基于所述深度强化学习数学模型进行权限分配策略分析得到分配结果,所述分配结果为不同管理层级的数据查看权限;
挖掘模块,用于根据所述第三信息进行关联规则和数据特征的挖掘处理得到数据交互策略,所述数据交互策略包括数据静态分发策略和数据过滤策略;
构建模块,用于根据所述第三信息构建得到设备预测模型,并将所述分类数据作为所述设备预测模型的输入值得到预测结果,所述预测结果包括设备和系统在未来预设时间段内的变化趋势和异常预警;
融合模块,基于预设的深度学习数学模型对所述分类数据、所述分配结果、所述数据交互策略和所述预测结果进行融合处理得到智能分发规则,所述智能分发规则包括数据优先级规定、数据推送策略、分发路径选择和负载均衡策略。
第三方面,本申请还提供了一种基于物联网的运维数据分发设备,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现所述基于物联网的运维数据分发方法的步骤。
第四方面,本申请还提供了一种介质,所述介质上存储有计算机程序,所述计算机程序被处理器执行时实现上述基于物联网的运维数据分发方法的步骤。
本发明的有益效果为:
本发明通过采用智能化的数据分发规则,结合动态场景和数据优先级规定,能够快速而准确地将数据分发到相应的管理层级节点,实现数据的高效传输和分发,提升了数据分发的效率,使运维团队能够及时获取所需的关键数据;通过分析数据需求和设备状态,选择最优的分发路径和节点,有助于提升数据传输的效率,减轻系统负载,实现数据的智能化分发和负载均衡。
本发明的其他特征和优点将在随后的说明书阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明实施例了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本发明实施例中所述的基于物联网的运维数据分发方法流程示意图;
图2为本发明实施例中所述的基于物联网的运维数据分发装置结构示意图;
图3为本发明实施例中所述的基于物联网的运维数据分发设备结构示意图。
图中标记:1、获取模块;2、聚类模块;21、第一提取单元;22、第一转换单元;23、第一计算单元;24、第一处理单元;3、分配模块;31、第一构建单元;32、第二构建单元;33、第三构建单元;34、第四构建单元;35、第一评估单元;4、挖掘模块;41、第二转换单元;42、第一合并单元;43、第一挖掘单元;44、第一生成单元;5、构建模块;51、第二提取单元;52、第一分析单元;53、第五构建单元;54、第一预测单元;6、融合模块;61、第二计算单元;62、第六构建单元;63、第二分析单元;64、第三分析单元;800、基于物联网的运维数据分发设备;801、处理器;802、存储器;803、多媒体组件;804、I/O接口;805、通信组件。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。同时,在本发明的描述中,术语“第一”、“第二”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
实施例1:
本实施例提供了一种基于物联网的运维数据分发方法。步骤S100、获取第一信息、第二信息和第三信息,第一信息包括从物联网设备采集的设备性能指标、运行情况和日志数据,第二信息包括数据访问历史,第三信息包括历史采集数据。
可以理解的是,第一信息涵盖了从物联网设备采集的设备性能指标、运行情况和日志数据。具体地,设备性能指标包括CPU使用率、内存利用率、网络流量等;运行情况包括设备的开关机状态、设备连接状态等;而日志数据则是设备和系统的运行日志,包含了设备运行过程中产生的各种事件记录。获取这些信息可以通过在设备上部署智能探针,实时采集设备的性能数据和日志信息,并将其传输到集中式运维管理平台。数据访问历史包括用户的登录时间、访问频率、访问的具体操作等,记录了对设备和系统的访问操作历史,通过设备自身的API接口或者网络协议进行获取。历史采集数据包括设备和系统在过去一段时间内的运行状态性能指标等信息,通过设备管理系统或者数据存储系统来获取这些历史采集数据。
步骤S200、根据第一信息进行聚类处理,将第一信息按照设备类型、地域和重要程度进行自适应分类处理得到分类数据。
可以理解的是,本步骤通过聚类处理,将具有相似性能指标、运行情况和日志数据的设备归为同一类别。这样可以对大量设备数据进行有效的分类和组织,方便后续的数据交互策略和设备预测模型的构建。通过自适应分类,可以根据设备类型、地域和重要程度等因素进行灵活的分类处理。不同类型的设备可能具有不同的性能指标和运行特点,而不同地域和重要程度的设备对运维管理的需求也不同。自适应分类可以更好地适应不同设备和运维场景的特点,提高管理效率和准确性。需要说明的是步骤S200包括步骤S210、步骤S220、步骤S230和步骤S240。
步骤S210、根据第一信息进行特征提取处理得到第一特征集合,第一特征集合包括设备的类型信息、IP地址和业务影响度。
可以理解的是,需要说明的是步骤S210包括步骤S211、步骤S212和步骤S213。
步骤S211、提取性能指标特征。
可以理解的是,对于服务器设备,提取CPU利用率、内存利用率、磁盘读写速率等性能指标,这些指标可以反映服务器的运行状态和负载情况,是性能特征的重要代表;对于网络设备,提取网络流量、丢包率、延迟等性能指标;对于数据库,提取数据库连接数、响应时间、数据库事务处理速率等性能指标。
步骤S212、提取业务影响度特征。
可以理解的是,根据企业集团的业务需求和重要业务系统,为每个设备赋予相应的业务影响度权重。例如,将关键业务系统所在的服务器赋予较高的业务影响度权重,其他非关键设备赋予较低的权重。将业务影响度权重归一化,以确保权重之间的相对比例不变。
步骤S212、综合性能与业务影响度特征融合。
可以理解的是,对于每个设备,将其性能指标与业务影响度权重相乘,得到加权性能指标。然后将加权性能指标与设备类型信息、IP地址进行合并,得到第一特征集合。最终得到一个分类数据表格,包括设备ID、设备类型、地域、重要程度等字段。这些分类数据可以作为后续数据分发和优化决策的基础。进一步地,根据设备类型来确定不同类型设备的管理策略;根据地域来确定不同地域设备的监控和维护策略;根据重要程度来确定不同重要程度设备的备份和容灾策略。
步骤S220、根据第一特征集合进行编码处理,将特征信息转换为向量表示得到特征向量集合。
可以理解的是,本步骤,将复杂的特征信息转化为数值化的向量形式,有助于后续数据处理和机器学习算法的应用,同时也方便进行特征之间的比较和相似度计算。优选地,将设备类型信息进行独热编码(One-HotEncoding)处理。例如,将服务器设备表示为[1,0,0,0],网络设备表示为[0,1,0,0],数据库表示为[0,0,1,0]等。这样的处理可以将设备类型信息转换为离散的向量表示。IP地址是一个字符串信息,需要进行数值化编码。一种方法是将IP地址拆分为四个部分,每个部分表示为一个整数,例如IP地址"192.168.1.1"可以表示为[192,168,1,1]。在另一些实施例中,IP地址还可以采用哈希编码,将IP地址映射为固定长度的整数向量。业务影响度权重已经是数值形式,可以直接作为特征向量的一部分。将编码后的设备类型信息、IP地址信息和业务影响度权重合并为一个特征向量。得到的特征向量表示了每个设备的特征信息,其中每个元素都对应着一个特定的特征。对于所有的设备,在编码处理后得到对应的特征向量,这样构成了特征向量集合。
步骤S230、将特征向量集合作为预设的密度聚类数学模型的输入值,通过计算各个维度特征向量间的密度可达距离得到数据点集合,数据点集合包括核心点和非核心点。
可以理解的是,密度聚类是一种无监督学习方法,它能够自动发现数据中的高密度区域,并将属于同一个簇的数据点聚集在一起。具体地,本步骤使用基于密度的聚类算法通过设置邻域参数来确定核心点和非核心点,并将属于同一个簇的数据点聚类在一起,其中输入值为特征向量集合,每个特征向量表示一个数据点。对于特征向量集合中的每个数据点,计算其与其他数据点之间的距离。优选地,这里的距离可以使用欧氏距离或其他合适的距离度量。通过设定邻域参数,确定每个数据点的邻域内有多少个数据点。如果邻域内的数据点数目大于等于设定的阈值,则将该数据点标记为核心点。对于不是核心点的数据点,判断其是否位于核心点的邻域内。如果是,则将其标记为边界点。将所有核心点及其邻域内的非核心点组成一个簇。如果两个核心点的邻域存在交集,则将它们合并成一个簇。将剩余的非核心点标记为噪声点,即不属于任何簇的点,最终形成数据点集合。在本实施例中,设备和系统的性能指标、运行状态等具有非球形分布,而传统的K-means等基于距离的聚类方法通常假设数据是球形分布的,可能导致聚类结果不准确,密度聚类不受分布形状的限制,可以有效处理非球形分布的数据,适应更复杂的数据结构。并且在大型企业级系统中,涵盖多个行业领域的设备和系统具有不同的特征和性能指标,可能存在异质性数据。传统聚类方法难以处理异质性数据,而密度聚类可以根据不同数据点的密度分布形成不同的簇,更好地处理异质性数据。
步骤S240、根据数据点集合构建得到密度直达关系和密度可达关系,并基于密度直达关系和密度可达关系将属于同一个簇的特征向量归为一类,得到分类数据。
可以理解的是,在密度聚类中,密度直达关系是指如果数据点A的密度可达点B且B的密度不小于A,则称A与B具有密度直达关系。这意味着如果一个数据点A可以通过一系列相邻的密度可达点到达另一个数据点B,并且B的密度不小于A,那么A和B属于同一个簇。通过构建密度直达关系,可以将具有直接密度联系的数据点归为同一类别,这有助于提高聚类的准确性和稳定性。密度可达关系是指如果数据点A存在一条密度连接序列,使得序列中的每两个相邻数据点都具有密度直达关系,则称A与序列中的最后一个数据点具有密度可达关系。通过构建密度可达关系,可以将具有间接密度联系的数据点归为同一类别,进一步完善聚类结果。在构建了密度直达关系和密度可达关系之后,根据这些关系将属于同一个簇的特征向量归为一类,得到最终的分类数据。通过这一步骤,可以实现对原始数据的有效聚类,将相似性较高的特征向量聚合在一起,形成具有相对一致性的数据簇。在本实施例中,企业集团的运维数据来自不同地域、不同类型的设备和系统,数据的分布和变化可能相对复杂。通过密度聚类的方法,可以克服传统聚类方法对簇数量的依赖,能够处理非球形分布和异常值,而且对于动态变化的数据有一定的适应性。构建密度直达关系和密度可达关系能够充分考虑数据点之间的密度联系,有效地将具有直接或间接密度联系的数据点聚类在一起,从而实现对复杂多变数据的合理聚类。通过归类数据,可以得到分类数据集,为后续的数据交互策略和智能分发规则的制定提供有价值的基础。
步骤S300、根据第二信息构建得到深度强化学习数学模型,并基于深度强化学习数学模型进行权限分配策略分析得到分配结果,分配结果为不同管理层级的数据查看权限。
可以理解的是,深度强化学习是一种机器学习方法,它结合了深度学习和强化学习的技术,用于解决复杂的决策问题。在本实施例中,深度强化学习数学模型将根据数据访问历史中的用户操作历史,来学习不同权限分配策略和决策策略。模型可以根据当前状态(用户权限、设备状态等)、可选的动作(数据查看权限的分配方式)以及历史奖励(之前的权限分配效果),对不同的权限分配方式进行评估和预测,从而达到优化权限分配的目的。企业集团的运维数据管理涉及多个层级的管理人员,不同层级的用户对数据的查看权限有不同的需求。使用深度强化学习数学模型可以更加智能地进行权限分配,根据历史操作和奖励,动态调整权限,使得权限分配更加合理和高效。相比传统的权限分配方法,深度强化学习数学模型可以适应复杂多变的场景,并能根据实时数据进行实时调整,从而在大型企业级系统中实现智能化权限管理。需要说明的是步骤S300包括步骤S310、步骤S320、步骤S330、步骤S340和步骤S350。
步骤S310、根据数据访问历史中的用户操作历史,通过分析访问频率的分布和连续访问的模式构建得到状态空间。
可以理解的是,在构建状态空间之前,首先对数据访问历史中的访问频率进行分析。通过统计不同用户对不同数据的访问频率,可以得到不同数据的热度和受欢迎程度。具体地,访问频率的分布呈现出长尾分布,即有少数数据受到高频访问,而大部分数据受到低频访问。连续访问指的是用户对同一数据的多次访问,并且这些访问之间存在一定的时间间隔。连续访问的模式可以帮助判断用户对数据的持续关注和可能的工作模式。根据访问频率的分布和连续访问的模式,将不同数据的访问情况映射到状态空间中。状态空间是一个多维空间,每个维度代表一个特定的状态或属性,包括数据的热度、用户的访问频率、连续访问的间隔时间等。状态空间的构建使得数据访问历史中的不同访问模式可以用一个向量或特征向量来表示。状态空间的构建可以降低数据处理和权限分配的计算复杂性,从而提高系统的处理效率和响应速度。
步骤S320、根据状态空间进行优化处理,通过考虑不同权限的粒度和组合方式构建得到动作空间。
可以理解的是,本步骤根据状态空间进行优化处理是为了构建适应性强的动作空间,以更精确地执行权限分配策略。在构建动作空间时需要不同权限的粒度和组合方式。例如,权限的粒度需要细化到具体的数据项或功能,并进行粗粒度的权限划分,例如按照模块或业务领域进行划分。同时,动作空间还允许多个权限的组合,以满足用户对数据的不同需求。例如,一个用户可能需要同时拥有查看和修改某个数据的权限,这就需要在动作空间中考虑这样的组合方式。动作空间的优化处理能够帮助运维团队更加准确地制定权限分配策略,根据用户在状态空间中的行为特征和数据访问历史,灵活地组合权限,实现对数据查看权限的精细化控制。这将有助于提高数据访问的安全性和灵活性,同时减少不必要的数据访问,优化数据的分发和推送策略,提升整体运维管理的效率和精确性。
步骤S330、根据数据访问历史的访问特征和管理层级需求,构建得到奖励函数,奖励函数用于评估权限分配的合理性。
可以理解的是,本步骤奖励函数用于衡量每一种权限分配方案的优劣,并为模型提供及时的反馈信息。在运维管理中,奖励函数的构建需要综合考虑多个因素,包括用户的访问行为、数据的重要程度、权限的合理性等。根据数据访问历史的特征,可以确定不同用户对数据的访问频率、访问时间等行为特征,这些特征可以用于构建奖励函数的基本评估指标。另外,根据不同管理层级的需求设定不同的优先级和权重,以确保权限的分配满足管理层级的需求和决策。
步骤S340、将状态空间映射为空间向量,并将动作空间映射为输出层的动作值函数,构建得到深度强化学习数学模型。
可以理解的是,本步骤首先将状态空间映射为空间向量,通过使用特征提取技术将状态空间中的状态特征抽取出来,并将其表示为向量。优选地,可以使用卷积神经网络(CNN)或循环神经网络(RNN)对状态空间中的状态进行处理,提取出关键特征,并转换为向量形式。接着,将动作空间映射为输出层的动作值函数,这是为了能够在深度强化学习中进行决策。动作值函数(Q函数)用于评估在特定状态下采取某个动作的价值,即预测在给定状态下执行某个动作后所获得的累积回报。在深度强化学习中,使用神经网络来表示动作值函数,即将状态空间和动作空间作为输入,输出相应的动作值。具体地,在运维管理场景中,状态空间表示运维系统的运行状态,包括各类设备的性能指标、运行情况、日志信息等。动作空间表示运维团队可以采取的操作,如设备重启、故障排查、性能优化等。首先运用特征提取技术,将状态空间中的各个状态特征提取出来,并转换为向量表示。例如,可以使用卷积神经网络提取设备性能指标的特征,使用循环神经网络提取日志信息的特征。接着,构建动作值函数,将动作空间映射为输出层的动作值。假设动作空间有N个动作,动作值函数的输出层有N个神经元,每个神经元对应一个动作值。当输入状态向量后,动作值函数输出N个动作值,用于评估在当前状态下采取不同动作的价值。通过这样的映射过程,可以将运维管理场景中的复杂状态和动作表示为向量形式,并基于深度强化学习数学模型进行优化和决策,从而实现智能化的运维管理和数据分发。
步骤S350、将数据访问历史作为数据样本对深度强化学习数学模型进行训练和优化,深度强化学习数学模型根据当前状态选择合适的动作与运维环境进行交互,并通过奖励函数对交互情况进行评价,得到分配结果。
可以理解的是,模型在训练过程中采用深度强化学习算法,根据当前状态空间的特征向量输入模型选择一个动作(即权限分配方案)。然后,将这个选定的权限分配方案应用于运维环境中,与真实的数据访问情况进行交互。在与运维环境交互后,根据奖励函数对交互情况进行评价。奖励函数用于衡量每一种权限分配方案的优劣,如果所选权限能够满足用户的需求并且合理地控制数据的访问权限,将给予正向奖励。相反,如果所选权限不当或导致安全问题,将给予负向奖励。通过持续的交互和优化过程,深度强化学习模型逐渐学习到在不同状态下选择合适的权限分配方案的策略。最终得到经过训练和优化的深度强化学习数学模型,该模型可以根据当前状态特征向量选择最优的权限分配方案。将模型应用于实际的运维管理中,能够根据实时数据来灵活地调整权限,从而实现对数据查看权限的动态和精细化控制。
步骤S400、根据第三信息进行关联规则和数据特征的挖掘处理得到数据交互策略,数据交互策略包括数据静态分发策略和数据过滤策略。
可以理解的是,本步骤中数据静态分发策略用于决定哪些数据需要在哪些情况下进行传输,从而使数据的传输过程更加高效和精确。数据过滤策略用于对数据进行加工和过滤,去除冗余信息和噪声,确保关键数据能够准确传送给相关人员和系统。需要说明的是步骤S400包括步骤S410、步骤S420、步骤S430和步骤S440。
步骤S410、根据第三信息进行格式转换处理得到事务数据集,事务数据集中的每个事务表示一次数据访问操作。
可以理解的是,本步骤中每一次数据访问操作将被定义为一个事务,每个事务表示用户在某个时间点对特定设备或数据项的一次访问。将所有事务组织成一个事务数据集,其中每个事务是一个集合,包含了用户在一次访问中涉及到的设备或数据项标识符。具体地,事务数据集通常以表格或矩阵的形式呈现,其中每一行代表一个事务,每一列代表一个设备或数据项,用二进制值或频次表示用户对该设备或数据项的访问情况。在运维管理中,数据访问历史通常包含大量的数据访问操作记录,每个操作涉及到不同的设备或数据项。这些数据访问操作之间可能存在复杂的关联关系和频繁出现的访问模式。事务数据集的格式可以更直观地表达用户在一次访问中涉及到的多个设备或数据项之间的关联性。通过事务数据集,可以更容易地发现不同设备之间的关联规则和访问模式。
步骤S420、根据事务数据集进行时间窗口聚合处理,将相同设备或地域在同一时间窗口内的多次访问合并为一个虚拟访问,得到聚合数据集。
可以理解的是,本步骤时间窗口是一个固定的时间段,比如一天、一小时或更短的时间间隔,在实际应用中通常根据业务需求设置不同的时间窗口大小。在时间窗口聚合过程中,将相同设备或地域在同一个时间窗口内的多次访问合并为一个虚拟访问,将这些访问操作视为一个整体进行处理。在本实施例中,数据访问历史包含大量的重复数据或高频访问记录,特别是在短时间内多次对同一设备或地域进行访问的情况较为普遍,通过时间窗口聚合处理,可以将这些冗余的访问记录合并为一个虚拟访问,从而减少了数据冗余,提高了数据集的紧凑性和效率。尽管在时间窗口聚合过程中合并了多次访问,但依然保留了数据的关键信息。通过虚拟访问的方式,可以得知在一个时间段窗口内某设备或地域的多次访问情况,这对于后续的数据分析和关联规则挖掘非常有价值。同时,由于时间窗口的设置,也能反映出用户的行为模式和数据访问的时间相关性。
步骤S430、根据聚合数据集和预设的频繁模式增长数学模型进行数据挖掘处理,通过挖掘数据访问历史中频繁出现的数据访问组合得到频繁模式。
可以理解的是,频繁模式是指在数据集中经常出现的数据访问组合,即某些数据项在用户的访问操作中具有较高的关联性,它们可能共同出现,形成一种模式或规则。通过挖掘这些频繁模式,可以揭示数据的访问规律和用户行为模式,为后续的数据交互策略和权限分配优化提供重要参考。频繁模式挖掘的结果可以为数据交互策略和权限分配优化提供重要依据。通过了解数据的频繁访问模式和关联性,可以优化数据的分发和推送策略,提高数据访问的效率和响应速度。同时,也可以更好地控制权限的分配,避免权限滥用和未授权访问,提高数据访问的安全性和合规性。
步骤S440、根据频繁模式生成数据静态分发策略和数据过滤策略。
可以理解的是,本步骤首先对挖掘得到的频繁模式进行解释和分析。这些频繁模式反映了数据访问历史中用户常见的数据访问组合行为,例如某些用户经常同时访问一组特定的数据项或在特定时间段频繁访问某些数据。根据频繁模式的解释,结合业务需求和安全性考虑,确定数据静态分发策略,包括将特定的数据组合静态地分发给相应的用户或用户组,以便他们在需要时能够更快地访问所需的数据。对于每个频繁模式,设定相应的数据分发规则。这些规则基于数据的类型、用户的角色、地域等因素来确定。例如,对于特定类型的数据,只允许特定角色的用户访问。对于多个频繁模式的情况,还需要确定其优先级,以确保在冲突情况下能够合理地进行数据分发。例如,如果一个数据项同时出现在多个频繁模式中,那么需要确定哪个模式的优先级更高。基于数据静态分发策略和分发规则,制定相应的权限策略。这些策略将被用于在实际数据交互过程中判断用户是否有权访问特定的数据项或数据组合。
步骤S500、根据第三信息构建得到设备预测模型,并将分类数据作为设备预测模型的输入值得到预测结果,预测结果包括设备和系统在未来预设时间段内的变化趋势和异常预警。
可以理解的是,预测结果包括设备性能的变化趋势(如CPU利用率、内存占用率等)、系统运行状态的变化趋势(如网络流量、请求响应时间等)以及可能出现的异常情况(如异常崩溃、故障等)。这样的预测对于运维管理和数据交互策略的制定非常重要,因为它能够提前发现潜在的问题和风险,从而采取相应的措施,保证系统的稳定性和数据交互的可靠性。需要说明的是步骤S500包括步骤S510、步骤S520、步骤S530和步骤S540。
步骤S510、根据第三信息进行特征提取处理得到特征集合,特征集合包括CPU使用率、内存利用率、开关机时间和日志异常信息。
优选地,本实施例中采用时间序列数据的方法进行特征提取,以提取CPU使用率、内存利用率、开关机时间和日志异常信息等特征。时间序列数据分析是一种常用的方法,适用于对设备性能和运行情况进行特征提取。对于CPU使用率和内存利用率,使用滑动窗口方法计算每个时间窗口内的平均使用率作为特征。对于开关机时间,记录每次开机和关机的时间戳,并计算开关机时长作为特征。对于日志异常信息,使用文本挖掘技术,通过关键词提取和模式匹配,将日志数据转换为异常事件的特征。在特征提取过程中,对于数据缺失的问题,采用插值方法填充缺失的数据,优选地,如线性插值或基于时间序列的插值方法。针对噪声和异常值,采用异常值检测方法,例如基于统计学的方法或聚类方法,将异常值排除或进行修正。在提取特征的同时,结合领域专业知识对特征进行筛选和优化,以确保提取的特征能够更好地反映设备的性能和运行情况。
步骤S520、根据特征集合进行主成分分析得到降维数据,降维数据包括性能综合指标、时间特征向量和异常信息向量。
可以理解的是,主成分分析通过计算原始特征的协方差矩阵,然后对协方差矩阵进行特征值分解,得到特征值和对应的特征向量。接着,选择特征值较大的前几个特征向量作为主成分,这些主成分能够解释原始数据中绝大部分的方差,从而实现降维。需要说明的是,步骤S520包括步骤S521、步骤S522和步骤S523。
步骤S521、对设备的性能指标数据(包括CPU使用率、内存利用率等)进行归一化处理,以消除不同指标之间的量纲差异。然后将这些归一化后的数据作为输入,通过主成分分析,得到性能综合指标。性能综合指标是一组不同性能指标的加权组合,它综合了设备各个方面的性能情况,能够全面反映设备的整体性能状态。
步骤S522、对开关机时间数据进行预处理,将其转换为时间间隔数据。然后将时间间隔数据与其他时间相关的特征数据(包括设备的运行时长、每次开机后的运行时长、开机次数等)进行合并,得到一个时间特征向量。接着,通过主成分分析,将时间特征向量进行降维。时间特征向量反映了设备性能随时间的变化规律和趋势。通过降维得到了较低维度的时间特征向量,其中的主成分能够较好地描述设备在时间上的演变过程和趋势。
步骤S523、对日志异常信息进行编码处理,将其转换为数字化的异常标记。然后,将异常标记与其他异常相关的特征数据进行合并,得到一个异常信息向量。最后通过主成分分析,将异常信息向量进行降维。异常信息向量表示了设备异常情况的特征模式。降维后的数据能够较好地描述设备异常情况的主要特征,有助于识别和预测设备的异常行为。
通过将性能指标、时间特征和异常信息等不同类别的数据分别进行降维,可以从不同角度全面地分析设备的运行状态。降维后的数据综合了多个原始特征的信息,能够更准确地描述设备的性能和异常情况。采用主成分分析进行降维,避免了传统降维方法中可能出现的信息损失和不必要的计算开销。这在大规模设备数据处理中具有重要意义,可以提高数据处理的效率和精确性。由于主成分分析是一种无监督学习方法,它不需要标记的训练数据,能够更灵活地适应不同类型和规模的设备数据。这使得该方法在实际应用中更具有通用性和可扩展性。
步骤S530、根据降维数据和预设的深度神经网络数据模型进行模型训练和优化,得到设备预测模型。
可以理解的是,本步骤采用一种基于深度神经网络的数据模型进行设备预测。首先,使用这些降维数据作为输入,构建深度神经网络的数据模型。针对运维管理场景,在模型训练和优化时引入了一种改进的损失函数,该函数结合了设备性能的综合指标和时间特征的重要性权重,以更好地适应不同设备类型和地域的运维需求。在训练过程中,利用历史数据样本,包括设备性能数据、时间特征数据以及异常信息数据,来进行模型的优化。采用梯度下降等优化算法,不断调整模型参数,使得预测结果与实际数据尽可能接近,从而提高模型的准确性和泛化能力。同时,还引入了经验回放机制,以增加样本的多样性和训练的效率,从而更好地学习设备的变化趋势和异常模式。损失函数如下:
;
其中,为改进的损失函数,用于衡量预测结果与实际值之间的误差;/>和/>为超参数,用于调节性能综合指标P和时间特征、异常信息的重要性权重之间的平衡;/>为设备性能的综合指标,包含设备的各种性能指标,如CPU使用率、内存利用率等;/>和为设备类型权重系数和地域权重系数,用于衡量不同设备类型和地域对运维需求的影响程度;/>为时间特征向量,包含设备的时间相关特征,如开关机时间、访问时间等;和/>为时间特征向量中的最大值和最小值,用于将时间特征向量归一化到[0,1]的范围内;/>为异常信息向量,包含设备的异常状态信息,如日志异常信息等;为异常信息向量/>的平均值,用于将异常信息向量归一化。改进的损失函数的设计考虑了设备性能的综合指标和时间特征、异常信息的重要性权重,同时引入了设备类型和地域的权重系数,使得模型能够更好地适应不同设备类型和地域的运维需求。通过优化这个损失函数,在训练过程中,模型会更加注重重要的特征和对应的权重,从而提高预测的准确性和运维管理的效果。
步骤S540、根据设备预测模型对分类数据进行预测得到预测结果。
可以理解的是,利用该模型对未来一段时间内的设备状态进行预测,并实时监测设备运行情况。通过对预测结果与实际数据的对比,我们可以及时发现设备的异常情况,并给出相应的预警提示,以帮助运维团队迅速响应和解决问题。同时,还可以根据预测结果制定合理的运维策略,优化设备的运行状态,提高运维效率和设备的可靠性。
步骤S600、基于预设的深度学习数学模型对分类数据、分配结果、数据交互策略和预测结果进行融合处理得到智能分发规则,智能分发规则包括数据优先级规定、数据推送策略、分发路径选择和负载均衡策略。
可以理解的是,智能分发规则的制定是基于多个步骤得到的数据和信息的综合分析和决策,以提高数据访问和分发的智能化程度。通过深度学习模型的预测和优化,系统能够更加智能地进行数据分发,满足不同设备和用户的需求,提升系统的性能和效率。这将使得运维团队能够更加高效地管理数据,提高数据的可靠性和安全性,同时节约资源和降低成本。需要说明的是步骤S600包括步骤S610、步骤S620、步骤S630和步骤S640。
步骤S610、根据分类数据和预测结果,利用层次分析对数据的重要性、紧急性和价值进行评估并分配权重得到权重数据集,并根据权重数据集进行权重矩阵计算得到数据优先级规定。
可以理解的是,本步骤中根据分类数据中设备的类型、地域和重要程度信息,以及预测结果中的设备变化趋势和异常预警,对数据的重要性、紧急性和价值进行评估。这些评估是基于领域专家的经验和知识,同时结合数据的实际情况和运维需求。在层次分析法中,为每个评估指标分配相应的权重,以反映它们在决策中的相对重要性。根据评估结果,分配数据重要性、紧急性和价值的权重,形成权重数据集。将得到的权重数据集构建成一个权重矩阵,该矩阵将反映不同评估指标之间的相对权重,以及它们对数据优先级规定的影响程度。通过计算权重矩阵,可以得到综合的数据优先级规定,确定哪些数据应该具有更高的优先级和访问权重。
步骤S620、根据权重数据集和预设的深度学习数学模型进行场景构建处理得到动态场景模型。
可以理解的是,将权重数据集与其他重要信息进行整合,这些重要信息可能包括数据交互策略、设备预测结果和智能分发规则中的权重和参数等。通过整合这些信息得到一个综合的数据权重数据集,其中包含了数据的优先级、紧急性和价值等重要指标的权重。根据综合的权重数据集和预设的深度学习数学模型,构建动态场景模型。这个场景模型将综合考虑不同数据的优先级和重要性,以及设备的状态和预测结果,从而动态地调整数据的分发和推送策略。例如,对于重要且紧急的数据,场景模型会优先将其分发给性能较好的设备,或者采用更快速的推送策略,以确保数据的及时性和可靠性。通过训练和优化场景模型,使其能够更好地适应不同情况下的数据分发需求,涉及到调整模型的参数、引入新的特征变量,或者采用其他优化手段,以提高模型的准确性和泛化能力。通过这一步骤,构建一个智能的动态场景模型,它能够根据实时的数据情况和设备状态,智能地调整数据的分发和推送策略,从而更好地满足运维需求和数据访问的优先级规定。这将有助于提高数据的分发效率和灵活性,优化数据的推送策略,同时减少不必要的数据访问,提升整体运维管理的效率和精确性。
步骤S630、根据动态场景模型和权重数据集中数据的相对重要程度,通过分析不同数据在不同场景下的变化趋势和重要性制定得到数据推送策略。
可以理解的是,本步骤基于动态场景模型对不同数据在不同场景下的行为进行分析。这包括数据的优先级、紧急性、重要性等指标在不同情况下的变化趋势和相对重要程度。同时,进一步分析权重数据集中不同数据的权重值,这些权重值反映了数据的相对重要程度和价值。将结合动态场景模型的分析结果和权重数据集中的权重值,来确定不同数据在推送策略中的地位和作用。基于对动态场景模型和权重数据集的综合分析,制定出针对不同数据的推送策略,这包括推送的优先级排序、推送的时间间隔和推送的目标设备等。例如,对于重要且紧急的数据,在场景模型分析下,优先将其推送给性能较好的设备,而对于其他相对次要的数据,则可以采取更灵活的推送策略,以降低对设备性能的影响。值得注意的是,由于动态场景模型和权重数据集都是实时更新的,数据推送策略也需要进行动态调整。随着数据和设备状态的变化,推送策略可能需要相应地作出调整,以保持其有效性和适应性。通过这一步骤,可以根据动态场景模型和权重数据集中数据的相对重要程度,制定合理的数据推送策略,以满足不同数据在不同场景下的推送需求。
步骤S640、根据动态场景模型和数据推送策略,通过分析动态场景下的数据需求和设备状态并选择最优的分发路径和节点,得到分发路径选择和负载均衡策略。
可以理解的是,本步骤结合动态场景模型的分析结果和数据推送策略的设定,来确定数据在不同场景下的传输需求和目标。除了考虑数据需求,我们还需要分析目标设备的状态。这包括设备的性能、网络状况、存储容量等信息。通过对设备状态的综合分析,我们可以了解到每个设备的负载情况,以及是否有能力接收和处理额外的数据传输。基于对动态场景模型、数据推送策略和设备状态的分析,将制定分发路径选择和负载均衡策略,包括确定数据传输的最优路径,即选择最合适的中转节点和目标设备,以确保数据以最快的速度到达目的地。同时考虑负载均衡策略,即将数据在不同设备之间进行均衡分配,避免出现某些设备负载过重而导致性能下降的情况。通过这一步骤,可以根据动态场景模型和数据推送策略,综合考虑数据需求和设备状态,制定最优的分发路径选择和负载均衡策略。这将有助于优化数据传输过程,提高数据传输效率和质量,同时确保系统资源的合理利用,从而实现更加智能化和高效的数据分发与交互策略。
实施例2:
如图2所示,本实施例提供了一种基于物联网的运维数据分发装置,装置包括:
获取模块1,用于获取第一信息、第二信息和第三信息,第一信息包括从物联网设备采集的设备性能指标、运行情况和日志数据,第二信息包括数据访问历史,第三信息包括历史采集数据。
聚类模块2,用于根据第一信息进行聚类处理,将第一信息按照设备类型、地域和重要程度进行自适应分类处理得到分类数据。
分配模块3,用于根据第二信息构建得到深度强化学习数学模型,并基于深度强化学习数学模型进行权限分配策略分析得到分配结果,分配结果为不同管理层级的数据查看权限。
挖掘模块4,用于根据第三信息进行关联规则和数据特征的挖掘处理得到数据交互策略,数据交互策略包括数据静态分发策略和数据过滤策略。
构建模块5,用于根据第三信息构建得到设备预测模型,并将分类数据作为设备预测模型的输入值得到预测结果,预测结果包括设备和系统在未来预设时间段内的变化趋势和异常预警。
融合模块6,基于预设的深度学习数学模型对分类数据、分配结果、数据交互策略和预测结果进行融合处理得到智能分发规则,智能分发规则包括数据优先级规定、数据推送策略、分发路径选择和负载均衡策略。
在本公开的一种具体实施方式中,聚类模块2包括:
第一提取单元21,用于根据第一信息进行特征提取处理得到第一特征集合,第一特征集合包括设备的类型信息、IP地址和业务影响度。
第一转换单元22,用于根据第一特征集合进行编码处理,将特征信息转换为向量表示得到特征向量集合。
第一计算单元23,用于将特征向量集合作为预设的密度聚类数学模型的输入值,通过计算各个维度特征向量间的密度可达距离得到数据点集合,数据点集合包括核心点和非核心点。
第一处理单元24,用于根据数据点集合构建得到密度直达关系和密度可达关系,并基于密度直达关系和密度可达关系将属于同一个簇的特征向量归为一类,得到分类数据。
在本公开的一种具体实施方式中,分配模块3包括:
第一构建单元31,用于根据数据访问历史中的用户操作历史,通过分析访问频率的分布和连续访问的模式构建得到状态空间。
第二构建单元32,用于根据状态空间进行优化处理,通过考虑不同权限的粒度和组合方式构建得到动作空间。
第三构建单元33,用于根据数据访问历史的访问特征和管理层级需求,构建得到奖励函数,奖励函数用于评估权限分配的合理性。
第四构建单元34,用于将状态空间映射为空间向量,并将动作空间映射为输出层的动作值函数,构建得到深度强化学习数学模型。
第一评估单元35,用于将数据访问历史作为数据样本对深度强化学习数学模型进行训练和优化,深度强化学习数学模型根据当前状态选择合适的动作与运维环境进行交互,并通过奖励函数对交互情况进行评价,得到分配结果。
在本公开的一种具体实施方式中,挖掘模块4包括:
第二转换单元41,用于根据第三信息进行格式转换处理得到事务数据集,事务数据集中的每个事务表示一次数据访问操作。
第一合并单元42,用于根据事务数据集进行时间窗口聚合处理,将相同设备或地域在同一时间窗口内的多次访问合并为一个虚拟访问,得到聚合数据集。
第一挖掘单元43,用于根据聚合数据集和预设的频繁模式增长数学模型进行数据挖掘处理,通过挖掘数据访问历史中频繁出现的数据访问组合得到频繁模式。
第一生成单元44,用于根据频繁模式生成数据静态分发策略和数据过滤策略。
在本公开的一种具体实施方式中,构建模块5包括:
第二提取单元51,用于根据第三信息进行特征提取处理得到特征集合,特征集合包括CPU使用率、内存利用率、开关机时间和日志异常信息。
第一分析单元52,用于根据特征集合进行主成分分析得到降维数据,降维数据包括性能综合指标、时间特征向量和异常信息向量。
第五构建单元53,用于根据降维数据和预设的深度神经网络数据模型进行模型训练和优化,得到设备预测模型。
第一预测单元54,用于根据设备预测模型对分类数据进行预测得到预测结果。
在本公开的一种具体实施方式中,融合模块6包括:
第二计算单元61,用于根据分类数据和预测结果,利用层次分析对数据的重要性、紧急性和价值进行评估并分配权重得到权重数据集,并根据权重数据集进行权重矩阵计算得到数据优先级规定。
第六构建单元62,用于根据权重数据集和预设的深度学习数学模型进行场景构建处理得到动态场景模型。
第二分析单元63,用于根据动态场景模型和权重数据集中数据的相对重要程度,通过分析不同数据在不同场景下的变化趋势和重要性制定得到数据推送策略。
第三分析单元64,用于根据动态场景模型和数据推送策略,通过分析动态场景下的数据需求和设备状态并选择最优的分发路径和节点,得到分发路径选择和负载均衡策略。
实施例3:
相应于上面的方法实施例,本实施例中还提供了一种基于物联网的运维数据分发设备,下文描述的一种基于物联网的运维数据分发设备与上文描述的一种基于物联网的运维数据分发方法可相互对应参照。
图3是根据示例性实施例示出的一种基于物联网的运维数据分发设备800的框图。如图3所示,该基于物联网的运维数据分发设备800可以包括:处理器801,存储器802。该基于物联网的运维数据分发设备800还可以包括多媒体组件803, I/O接口804,以及通信组件805中的一者或多者。
其中,处理器801用于控制该基于物联网的运维数据分发设备800的整体操作,以完成上述的基于物联网的运维数据分发方法中的全部或部分步骤。存储器802用于存储各种类型的数据以支持在该基于物联网的运维数据分发设备800的操作,这些数据例如可以包括用于在该基于物联网的运维数据分发设备800上操作的任何应用程序或方法的指令,以及应用程序相关的数据,例如联系人数据、收发的消息、图片、音频、视频等等。该存储器802可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,例如静态随机存取存储器(Static Random Access Memory,简称SRAM),电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory,简称EEPROM),可擦除可编程只读存储器(Erasable Programmable Read-Only Memory,简称EPROM),可编程只读存储器(Programmable Read-Only Memory,简称PROM),只读存储器(Read-Only Memory,简称ROM),磁存储器,快闪存储器,磁盘或光盘。多媒体组件803可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏,音频组件用于输出和/或输入音频信号。例如,音频组件可以包括一个麦克风,麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器802或通过通信组件805发送。音频组件还包括至少一个扬声器,用于输出音频信号。I/O接口804为处理器801和其他接口模块之间提供接口,上述其他接口模块可以是键盘,鼠标,按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件805用于该基于物联网的运维数据分发设备800与其他设备之间进行有线或无线通信。无线通信,例如Wi-Fi,蓝牙,近场通信(Near FieldCommunication,简称NFC),2G、3G或4G,或它们中的一种或几种的组合,因此相应的该通信组件805可以包括:Wi-Fi模块,蓝牙模块,NFC模块。
在一示例性实施例中,基于物联网的运维数据分发设备800可以被一个或多个应用专用集成电路(Application Specific Integrated Circuit,简称ASIC)、数字信号处理器(DigitalSignal Processor,简称DSP)、数字信号处理设备(Digital SignalProcessing Device,简称DSPD)、可编程逻辑器件(Programmable Logic Device,简称PLD)、现场可编程门阵列(Field Programmable Gate Array,简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述的基于物联网的运维数据分发方法。
在另一示例性实施例中,还提供了一种包括程序指令的计算机可读存储介质,该程序指令被处理器执行时实现上述的基于物联网的运维数据分发方法的步骤。例如,该计算机可读存储介质可以为上述包括程序指令的存储器802,上述程序指令可由基于物联网的运维数据分发设备800的处理器801执行以完成上述的基于物联网的运维数据分发方法。
实施例4:
相应于上面的方法实施例,本实施例中还提供了一种可读存储介质,下文描述的一种可读存储介质与上文描述的一种基于物联网的运维数据分发方法可相互对应参照。
一种可读存储介质,可读存储介质上存储有计算机程序,计算机程序被处理器执行时实现上述方法实施例的基于物联网的运维数据分发方法的步骤。
该可读存储介质具体可以为U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可存储程序代码的可读存储介质。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种基于物联网的运维数据分发方法,其特征在于,包括:
获取第一信息、第二信息和第三信息,所述第一信息包括从物联网设备采集的设备性能指标、运行情况和日志数据,所述第二信息包括数据访问历史,所述第三信息包括历史采集数据;
根据所述第一信息进行聚类处理,将所述第一信息按照设备类型、地域和重要程度进行自适应分类处理得到分类数据;
根据所述第二信息构建得到深度强化学习数学模型,并基于所述深度强化学习数学模型进行权限分配策略分析得到分配结果,所述分配结果为不同管理层级的数据查看权限;
根据所述第三信息进行关联规则和数据特征的挖掘处理得到数据交互策略,所述数据交互策略包括数据静态分发策略和数据过滤策略,所述数据静态分发策略用于决定哪些数据需要在哪些情况下进行传输,所述数据过滤策略用于对数据进行加工和过滤;
根据所述第三信息构建得到设备预测模型,并将所述分类数据作为所述设备预测模型的输入值得到预测结果,所述预测结果包括设备和系统在未来预设时间段内的变化趋势和异常预警;
基于预设的深度学习数学模型对所述分类数据、所述分配结果、所述数据交互策略和所述预测结果进行融合处理得到智能分发规则,所述智能分发规则包括数据优先级规定、数据推送策略、分发路径选择和负载均衡策略;
其中,基于预设的深度学习数学模型对所述分类数据、所述分配结果、所述数据交互策略和所述预测结果进行融合处理得到智能分发规则,包括:
根据所述分类数据和所述预测结果,利用层次分析对数据的重要性、紧急性和价值进行评估并分配权重得到权重数据集,并根据所述权重数据集进行权重矩阵计算得到数据优先级规定;
根据所述权重数据集和预设的深度学习数学模型进行场景构建处理得到动态场景模型;
根据所述动态场景模型和所述权重数据集中数据的相对重要程度,通过分析不同数据在不同场景下的变化趋势和重要性制定得到数据推送策略;
根据所述动态场景模型和所述数据推送策略,通过分析动态场景下的数据需求和设备状态并选择最优的分发路径和节点,得到分发路径选择和负载均衡策略。
2.根据权利要求1所述的基于物联网的运维数据分发方法,其特征在于,根据所述第一信息进行聚类处理,将所述第一信息按照设备类型、地域和重要程度进行自适应分类处理得到分类数据,包括:
根据所述第一信息进行特征提取处理得到第一特征集合,所述第一特征集合包括设备的类型信息、IP地址和业务影响度;
根据所述第一特征集合进行编码处理,将特征信息转换为向量表示得到特征向量集合;
将所述特征向量集合作为预设的密度聚类数学模型的输入值,通过计算各个维度特征向量间的密度可达距离得到数据点集合,所述数据点集合包括核心点和非核心点;
根据所述数据点集合构建得到密度直达关系和密度可达关系,并基于所述密度直达关系和密度可达关系将属于同一个簇的特征向量归为一类,得到分类数据。
3.根据权利要求1所述的基于物联网的运维数据分发方法,其特征在于,根据所述第二信息构建得到深度强化学习数学模型,并基于所述深度强化学习数学模型进行权限分配策略分析得到分配结果,包括:
根据所述数据访问历史中的用户操作历史,通过分析访问频率的分布和连续访问的模式构建得到状态空间;
根据所述状态空间进行优化处理,通过考虑不同权限的粒度和组合方式构建得到动作空间;
根据所述数据访问历史的访问特征和管理层级需求,构建得到奖励函数,所述奖励函数用于评估权限分配的合理性;
将所述状态空间映射为空间向量,并将所述动作空间映射为输出层的动作值函数,构建得到深度强化学习数学模型;
将所述数据访问历史作为数据样本对所述深度强化学习数学模型进行训练和优化,所述深度强化学习数学模型根据当前状态选择动作与运维环境进行交互,并通过所述奖励函数对交互情况进行评价,得到分配结果。
4.根据权利要求1所述的基于物联网的运维数据分发方法,其特征在于,根据所述第三信息进行关联规则和数据特征的挖掘处理得到数据交互策略,包括:
根据所述第三信息进行格式转换处理得到事务数据集,所述事务数据集中的每个事务表示一次数据访问操作;
根据所述事务数据集进行时间窗口聚合处理,将相同设备或地域在同一时间窗口内的多次访问合并为一个虚拟访问,得到聚合数据集;
根据所述聚合数据集和预设的频繁模式增长数学模型进行数据挖掘处理,通过挖掘数据访问历史中频繁出现的数据访问组合得到频繁模式;
根据所述频繁模式生成数据静态分发策略和数据过滤策略。
5.一种基于物联网的运维数据分发装置,其特征在于,包括:
获取模块,用于获取第一信息、第二信息和第三信息,所述第一信息包括从物联网设备采集的设备性能指标、运行情况和日志数据,所述第二信息包括数据访问历史,所述第三信息包括历史采集数据;
聚类模块,用于根据所述第一信息进行聚类处理,将所述第一信息按照设备类型、地域和重要程度进行自适应分类处理得到分类数据;
分配模块,用于根据所述第二信息构建得到深度强化学习数学模型,并基于所述深度强化学习数学模型进行权限分配策略分析得到分配结果,所述分配结果为不同管理层级的数据查看权限;
挖掘模块,用于根据所述第三信息进行关联规则和数据特征的挖掘处理得到数据交互策略,所述数据交互策略包括数据静态分发策略和数据过滤策略,所述数据静态分发策略用于决定哪些数据需要在哪些情况下进行传输,所述数据过滤策略用于对数据进行加工和过滤;
构建模块,用于根据所述第三信息构建得到设备预测模型,并将所述分类数据作为所述设备预测模型的输入值得到预测结果,所述预测结果包括设备和系统在未来预设时间段内的变化趋势和异常预警;
融合模块,基于预设的深度学习数学模型对所述分类数据、所述分配结果、所述数据交互策略和所述预测结果进行融合处理得到智能分发规则,所述智能分发规则包括数据优先级规定、数据推送策略、分发路径选择和负载均衡策略;
其中,所述融合模块包括:
第二计算单元,用于根据所述分类数据和所述预测结果,利用层次分析对数据的重要性、紧急性和价值进行评估并分配权重得到权重数据集,并根据所述权重数据集进行权重矩阵计算得到数据优先级规定;
第六构建单元,用于根据所述权重数据集和预设的深度学习数学模型进行场景构建处理得到动态场景模型;
第二分析单元,用于根据所述动态场景模型和所述权重数据集中数据的相对重要程度,通过分析不同数据在不同场景下的变化趋势和重要性制定得到数据推送策略;
第三分析单元,用于根据所述动态场景模型和所述数据推送策略,通过分析动态场景下的数据需求和设备状态并选择最优的分发路径和节点,得到分发路径选择和负载均衡策略。
6.根据权利要求5所述的基于物联网的运维数据分发装置,其特征在于,所述聚类模块包括:
第一提取单元,用于根据所述第一信息进行特征提取处理得到第一特征集合,所述第一特征集合包括设备的类型信息、IP地址和业务影响度;
第一转换单元,用于根据所述第一特征集合进行编码处理,将特征信息转换为向量表示得到特征向量集合;
第一计算单元,用于将所述特征向量集合作为预设的密度聚类数学模型的输入值,通过计算各个维度特征向量间的密度可达距离得到数据点集合,所述数据点集合包括核心点和非核心点;
第一处理单元,用于根据所述数据点集合构建得到密度直达关系和密度可达关系,并基于所述密度直达关系和密度可达关系将属于同一个簇的特征向量归为一类,得到分类数据。
7.根据权利要求5所述的基于物联网的运维数据分发装置,其特征在于,所述分配模块包括:
第一构建单元,用于根据所述数据访问历史中的用户操作历史,通过分析访问频率的分布和连续访问的模式构建得到状态空间;
第二构建单元,用于根据所述状态空间进行优化处理,通过考虑不同权限的粒度和组合方式构建得到动作空间;
第三构建单元,用于根据所述数据访问历史的访问特征和管理层级需求,构建得到奖励函数,所述奖励函数用于评估权限分配的合理性;
第四构建单元,用于将所述状态空间映射为空间向量,并将所述动作空间映射为输出层的动作值函数,构建得到深度强化学习数学模型;
第一评估单元,用于将所述数据访问历史作为数据样本对所述深度强化学习数学模型进行训练和优化,所述深度强化学习数学模型根据当前状态选择动作与运维环境进行交互,并通过所述奖励函数对交互情况进行评价,得到分配结果。
8.根据权利要求5所述的基于物联网的运维数据分发装置,其特征在于,所述挖掘模块包括:
第二转换单元,用于根据所述第三信息进行格式转换处理得到事务数据集,所述事务数据集中的每个事务表示一次数据访问操作;
第一合并单元,用于根据所述事务数据集进行时间窗口聚合处理,将相同设备或地域在同一时间窗口内的多次访问合并为一个虚拟访问,得到聚合数据集;
第一挖掘单元,用于根据所述聚合数据集和预设的频繁模式增长数学模型进行数据挖掘处理,通过挖掘数据访问历史中频繁出现的数据访问组合得到频繁模式;
第一生成单元,用于根据所述频繁模式生成数据静态分发策略和数据过滤策略。
9.一种基于物联网的运维数据分发设备,其特征在于,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现如权利要求1至4任一项所述基于物联网的运维数据分发方法的步骤。
10.一种可读存储介质,其特征在于:所述可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至4任一项所述基于物联网的运维数据分发方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311145975.9A CN116881744B (zh) | 2023-09-07 | 2023-09-07 | 一种基于物联网的运维数据分发方法、装置、设备及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311145975.9A CN116881744B (zh) | 2023-09-07 | 2023-09-07 | 一种基于物联网的运维数据分发方法、装置、设备及介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116881744A CN116881744A (zh) | 2023-10-13 |
CN116881744B true CN116881744B (zh) | 2023-12-22 |
Family
ID=88272067
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311145975.9A Active CN116881744B (zh) | 2023-09-07 | 2023-09-07 | 一种基于物联网的运维数据分发方法、装置、设备及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116881744B (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117541026B (zh) * | 2024-01-08 | 2024-03-19 | 保定市宏远顺达物流运输有限公司 | 一种智能物流运输车辆调度方法及系统 |
CN117931577B (zh) * | 2024-01-26 | 2024-09-13 | 湖北消费金融股份有限公司 | 一种服务器运维数据监测方法及系统 |
CN117764372B (zh) * | 2024-02-20 | 2024-06-07 | 山东铁路投资控股集团有限公司 | 一种业务表单流程动态设计与优化方法及系统 |
CN118364361A (zh) * | 2024-05-17 | 2024-07-19 | 深圳市优享互联科技有限公司 | 一种动态数据管理方法及其系统 |
CN118646638A (zh) * | 2024-08-13 | 2024-09-13 | 深圳市万网博通科技有限公司 | 安防物联网安全管控及运维方法、系统、设备及介质 |
CN118861828B (zh) * | 2024-09-23 | 2025-01-10 | 广东名阳信息科技有限公司 | 一种基于工业物联网的运维管理系统和方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020125716A1 (zh) * | 2018-12-21 | 2020-06-25 | 中兴通讯股份有限公司 | 一种实现网络优化的方法及相关设备 |
CN114511112A (zh) * | 2022-01-24 | 2022-05-17 | 北京通建泰利特智能系统工程技术有限公司 | 一种基于物联网的智慧运维方法、系统和可读存储介质 |
CN116471307A (zh) * | 2023-06-20 | 2023-07-21 | 北京中科朗易科技有限责任公司 | 物联网异构数据级联传输方法、装置、设备及介质 |
CN116611813A (zh) * | 2023-05-08 | 2023-08-18 | 武汉人云智物科技有限公司 | 一种基于知识图谱的智能运维管理方法及系统 |
CN116662010A (zh) * | 2023-06-14 | 2023-08-29 | 肇庆学院 | 基于分布式系统环境下的动态资源分配方法及系统 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11586972B2 (en) * | 2018-11-19 | 2023-02-21 | International Business Machines Corporation | Tool-specific alerting rules based on abnormal and normal patterns obtained from history logs |
-
2023
- 2023-09-07 CN CN202311145975.9A patent/CN116881744B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020125716A1 (zh) * | 2018-12-21 | 2020-06-25 | 中兴通讯股份有限公司 | 一种实现网络优化的方法及相关设备 |
CN114511112A (zh) * | 2022-01-24 | 2022-05-17 | 北京通建泰利特智能系统工程技术有限公司 | 一种基于物联网的智慧运维方法、系统和可读存储介质 |
CN116611813A (zh) * | 2023-05-08 | 2023-08-18 | 武汉人云智物科技有限公司 | 一种基于知识图谱的智能运维管理方法及系统 |
CN116662010A (zh) * | 2023-06-14 | 2023-08-29 | 肇庆学院 | 基于分布式系统环境下的动态资源分配方法及系统 |
CN116471307A (zh) * | 2023-06-20 | 2023-07-21 | 北京中科朗易科技有限责任公司 | 物联网异构数据级联传输方法、装置、设备及介质 |
Also Published As
Publication number | Publication date |
---|---|
CN116881744A (zh) | 2023-10-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN116881744B (zh) | 一种基于物联网的运维数据分发方法、装置、设备及介质 | |
Saxena et al. | Performance analysis of machine learning centered workload prediction models for cloud | |
Padmaja et al. | Grow of artificial intelligence to challenge security in IoT application | |
Domb et al. | Lightweight adaptive Random-Forest for IoT rule generation and execution | |
Hamrouni et al. | A survey of dynamic replication and replica selection strategies based on data mining techniques in data grids | |
Rabie et al. | Smart electrical grids based on cloud, IoT, and big data technologies: state of the art | |
CN111260525A (zh) | 社区安全态势感知和预警方法、系统及存储介质 | |
Cao et al. | Load prediction for data centers based on database service | |
Rabie et al. | A fog based load forecasting strategy based on multi-ensemble classification for smart grids | |
JP2023504103A (ja) | モデル更新システム、モデル更新方法及び関連装置 | |
Zhang et al. | Automatic Traffic Anomaly Detection on the Road Network with Spatial‐Temporal Graph Neural Network Representation Learning | |
Bulla et al. | Anomaly detection in industrial IoT applications using deep learning approach | |
CN118797542A (zh) | 基于时空大数据的客户画像关键数据挖掘方法和系统 | |
Karthikeyan et al. | COSCO2: AI‐augmented evolutionary algorithm based workload prediction framework for sustainable cloud data centers | |
CN118647092A (zh) | 一种配电通信网络综合管理方法及系统 | |
Mahan et al. | A novel resource productivity based on granular neural network in cloud computing | |
Gao et al. | A data mining method using deep learning for anomaly detection in cloud computing environment | |
Fidelis et al. | Improving edge AI for industrial IoT applications with distributed learning using consensus | |
Wang | Cyber Digital Twin with Deep Learning Model for Enterprise Products Management | |
Gupta et al. | An energy-efficient hierarchical data fusion approach in IoT | |
Yang et al. | Multi Feature Extraction and Trend Prediction for Weibo Topic Dissemination Network | |
Behnam et al. | Data science leverage and big data analysis for Internet of Things energy systems | |
Zhuo et al. | Research and implementation of network transmission situation awareness | |
CN118859731B (zh) | 监控终端的状态控制方法、装置、设备及存储介质 | |
Zhao | Network security situational awareness and early warning architecture based on big data |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |