CN113535667A - 一种系统日志自动分析方法、装置和系统 - Google Patents
一种系统日志自动分析方法、装置和系统 Download PDFInfo
- Publication number
- CN113535667A CN113535667A CN202010313503.XA CN202010313503A CN113535667A CN 113535667 A CN113535667 A CN 113535667A CN 202010313503 A CN202010313503 A CN 202010313503A CN 113535667 A CN113535667 A CN 113535667A
- Authority
- CN
- China
- Prior art keywords
- log
- link
- logs
- evaluated
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 59
- 238000004458 analytical method Methods 0.000 claims abstract description 98
- 238000011156 evaluation Methods 0.000 claims abstract description 46
- 238000012545 processing Methods 0.000 claims abstract description 25
- 230000008569 process Effects 0.000 claims abstract description 23
- 230000009467 reduction Effects 0.000 claims abstract description 12
- 238000004519 manufacturing process Methods 0.000 claims description 36
- 239000013598 vector Substances 0.000 claims description 34
- 238000013210 evaluation model Methods 0.000 claims description 27
- 238000012827 research and development Methods 0.000 claims description 16
- 230000015654 memory Effects 0.000 claims description 15
- 238000004422 calculation algorithm Methods 0.000 claims description 7
- 238000012544 monitoring process Methods 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 6
- 230000006835 compression Effects 0.000 claims description 5
- 238000007906 compression Methods 0.000 claims description 5
- 239000000284 extract Substances 0.000 claims description 4
- 238000013473 artificial intelligence Methods 0.000 claims description 3
- 230000005540 biological transmission Effects 0.000 claims description 3
- 238000009826 distribution Methods 0.000 claims description 3
- 239000003550 marker Substances 0.000 claims description 3
- 238000011835 investigation Methods 0.000 claims description 2
- 230000008676 import Effects 0.000 claims 1
- 238000011946 reduction process Methods 0.000 claims 1
- 230000008859 change Effects 0.000 abstract description 4
- 238000007726 management method Methods 0.000 description 9
- 238000012423 maintenance Methods 0.000 description 8
- 238000003860 storage Methods 0.000 description 6
- 230000009471 action Effects 0.000 description 5
- 238000012356 Product development Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 239000012141 concentrate Substances 0.000 description 2
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000012098 association analyses Methods 0.000 description 1
- 238000007621 cluster analysis Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000013024 troubleshooting Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
- G06F16/1815—Journaling file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/24323—Tree-organised classifiers
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Databases & Information Systems (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明涉及日志分析技术领域，提供了一种系统日志自动分析方法、装置和系统。方法包括自动采集一个或者多个目标系统的日志；提取日志关键要素，并在用于表征日志关键特征要素数量的日志特征维度超过第一预设阈值时，进行所述日志特征维度的降维处理；根据日志关键特征要素的内容，输出一个或者多个待评估模型；结合由历史已评估模型构成的大数据资源池和/或专家团队，完成所述待评估模型的评估分类。本发明提出了一套日志特征维度降维处理手段，从而使得整个分析过程不至于因为不同环节的日志特征维度的改变而变的冗余和不可控。
Description
【技术领域】
本发明涉及日志分析技术领域，特别是涉及一种系统日志自动分析方法、装置和系统。
【背景技术】
传统的软件交付问题处理环节如下：研发环节、销售、客服和售后，其中各个环节都可能存在一定问题。
在研发环节，因为公司管理水平不一，研发水平不一，研发环节做的好的日志有严格的规范要求，做的差的基本个人自由发挥，同样的日志，即使基本格式能够约束，但是具体内容自由度很高，一旦某些关键信息没有输出，排查问题会异常困难，而且只能通过软件升级的方式调整日志内容，对企业级软件而言成本巨大。
通常企业的管理水平有限，客服环节和售后环节的日志分析更多依靠人力，而且随着软件的更新还需要无缝培训，且24小时在线协助的人力成本也居高不下，复杂问题只能传递给研发，存在较高沟通成本，导致问题分析效率难以提高，同时也导致公司被迫增加维护阶段的研发资源。
如果企业产品使用范围增加，甚至遍及海内外，则客服、售后的规模也会随之膨胀，相关成本远超产品开发。针对上述的复杂情况，缺少一种有效的解决方案，来改善如此情形下的日志管理。
【发明内容】
本发明要解决的技术问题是如何能够提高复杂情况下的日志分析，可以让软件开发人员聚焦于软件核心业务逻辑，不至于被繁琐的系统日志输出逻辑困扰。
第一方面，本发明提供了一种系统日志自动分析方法，包括：
自动采集一个或者多个目标系统的日志；
提取日志关键要素，并在用于表征日志关键特征要素数量的日志特征维度超过第一预设阈值时，进行所述日志特征维度的降维处理；
根据日志关键特征要素的内容，输出一个或者多个待评估模型；
结合由历史已评估模型构成的大数据资源池和/或专家团队，完成所述待评估模型的评估分类。
优选的，所述结合由历史已评估模型构成的大数据资源池和/或专家团队，完成所述待评估模型的评估分类，具体包括：
在由历史已评估模型构成的大数据资源池中，进行历史已评估模型与所述待评估模型之间的相似度匹配，对于匹配相似度超过第二预设阈值的，则将相应的已评估模型的评估分类作为所述待评估模型的评估分类。
优选的，所述结合由历史已评估模型构成的大数据资源池和/或专家团队，完成所述待评估模型的评估分类，具体包括：
在由历史已评估模型构成的大数据资源池中，进行历史已评估模型与所述待评估模型之间的相似度匹配，若未找到相似度超过第二预设阈值的历史已评估模型，则获取所述专家团队对于所述待评估模型的评估分类；
其中，若专家团队所给予的评估分类与历史的已评估模型的评估分类不同，则将所述待评估模型和专家团队给予的评估分类，作为新的历史已评估模型增加到所述大数据资源池中。
优选的，所述自动采集一个或者多个目标系统的日志，具体包括：
针对研发环节、生产环节、销售环节、客服环节和售后环节中的一个或者多个环节，设置日志系统；
将对应所述研发环节、生产环节、销售环节、客服环节和售后环节中的一个或者多个日志系统作为目标系统，进行相应目标系统中日志的采集。
优选的，提取日志关键要素，并在用于表征日志关键特征要素数量的日志特征维度超过第一预设阈值时，进行所述日志特征维度的降维处理，具体包括：
日志关键要素由日志中包含的各项内容构成，若第一环节中由日志关键特征要素的数量构成的日志特征维度超过第一预设阈值时；
确认所述第一环节可用于关联其它各环节中针对同一目标对象的多个日志关键特征要素；根据第一环节与其它各环节的关联关系，将所述多个日志关键特征要素进行压缩处理；和/或，
确认所述第一环节中的多个日志关键特征要素，在历史使用记录中用于表征同一含义时，将所述多个日志关键特征要素进行压缩处理；和/或，
确认所述第一环节中的一个或者多个日志关键特征要素，在历史使用记录中的使用率，对于使用率低于第三预设阈值，并且，使用内容与最终结果之间没有实质关联性，则将所述一个或者多个日志关键特征要素进行压缩处理；和/或，
确认所述第一环节中的一个或者多个日志关键特征要素，各自内容为指定数量的参数对象；对所述一个或者多个日志关键特征要素进行合并参数对象式压缩处理。
优选的，所述根据第一环节与其它各环节的关联关系，将所述多个日志关键特征要素进行压缩处理，具体包括：
第一环节中分别通过第一日志关键特征要素关联第二环节，以及通过第二日志关键特征要素关联第三环节；
若所述第二环节和第三环节之间还通过第三日志关键特征要素关联，则对所述第一日志关键特征要素和第二日志关键特征要素进行择一处理；
其中，由所述择一处理后的第一日志关键特征要素和第二日志关键特征要素，以及所述第三日志关键特征要素可生成第一环节日志、第二环节日志和第三环节日志的关联关系。
优选的，在针对具体的产品对象进行各个环节上的日志所生成的待评估模型，相应评定结果为第一故障类型时，所述分析方法还包括：
根据所述产品对象的待评估模型中生产环节的日志，查找同一批次或者同一生产线的其它产品对象的日志，作为相应的潜在第一故障类型日志整理；
根据潜在第一故障类型日志整理结果中销售环节所记录的日志关键特征要素，获得的相关消费者联系方式；
触发客服环节根据所述消费者联系方式，进行相关第一故障类型的预先关注和/或排查。
优选的，根据故障评估分类的评估模型中关联日志的分布，确定不同环节的日志的采集周期；
其中，各环节拥有各自的日志生成速度，各环节的日志通过所述评估模型实现了关联关系的建立。
第二发明，本发明还提供了一种系统日志自动分析系统，包括：
在线上生产系统构建独立的日志采集单元，自动采集目标系统的日志并上传至线下分析服务器；
线下分析服务器进行数据预处理,提取日志关键要素并降低日志特征维度，便于后续智能分析引擎高将日志按照故障聚类；
线下分析服务器启动智能分析引擎，通过分析日志关键特征要素，配合专家团队根据实际情况人工标记故障，进而输出评估模型；
在线上生产系统部署智能分析引擎，导入线下输出的评估模型，并通过实时监控日志计算输出故障。
优选的，所述在线上生产系统构建独立的日志采集单元，自动采集目标系统的日志并上传至线下分析服务器，具体包括：
构建独立的日志采集单元，通过配置目标日志路径和日志上传路径，实现自动定时日志拷贝和传送；
结合目标软件系统的特点，采用与之匹配的集中式或者分布式部署方式，部署一个或者多个日志采集单元；
启动日志采集单元，实时提取日志至指定服务器路径。
优选的，线下分析服务器进行数据预处理,提取日志关键要素并降低日志特征维度，便于后续智能分析引擎高将日志按照故障聚类，具体包括：
构建数据预处理器，加载日志采集单元搜集的日志数据，并按照不同日志项填写模块进行分类；
数据预处理器按照日志产生的时间要素进行切片分组，将多个日志项填写模块在同一时间切片内的日志聚合在一起形成一组日志，命名为日志向量；
数据预处理器以日志向量为基本单位分析处理数据，将时间要素、日志分类类别数值化，对于每组数据中缺少核心时间要素和日志类别信息的日志丢弃处理。
优选的，构建智能分析引擎，通过分析数据预处理器输出的日志向量数据和故障标记，输出日志分析评估模型，具体包括：
智能分析引擎分析日志向量数据需要提前准备合理的故障分类作为故障标记；完成了标记的数据，其故障标记作为新的特征值加入到之前输入的日志向量，作为新的日志向量参与分析；
智能分析引擎通过人工智能算法对携带故障标记特征值的日志向量做分析处理。
优选的，在线上生产系统部署智能分析引擎，导入线下输出的评估模型，并通过实时监控日志计算输出故障，具体包括：
在线上生产系统环境部署智能分析引擎，通过手动或者自动的方式导入评估模型；
在线上生产系统环境部署数据预处理器，实时采集日志数据并输出日志向量供智能分析引擎分析处理。
第三方面，本发明还提供了一种系统日志自动分析装置，所述装置包括：
至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述处理器执行，用于执行第一方面所述的系统日志自动分析方法。
第四方面，本发明还提供了一种非易失性计算机存储介质，所述计算机存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个处理器执行，用于完成第一方面所述的系统日志自动分析方法。
本发明提出了可针对多环节采集日志，并做综合分析的模型评估方法，并且，基于各环节日志可能的版本更新、日志关键特征要素的调整，提出了一套日志特征维度降维处理手段，从而使得整个分析过程不至于因为不同环节的日志特征维度的改变而变的冗余和不可控。
本发明提出的分析方法可以实现对系统日志快速的分析，可以大大降低一线运维人员的工作难度，同时可以让软件开发人员聚焦于软件核心业务逻辑，不至于被繁琐的系统日志输出逻辑困扰。
对自动化分析降低了对上述各环节中的人力学习成本要求，实现了7X24小时自动问题定位处理，在部署相关系统之后，问题可能直接在用户侧闭环，提高产品维护效率，降低了整个环节链条的人力成本，使得研发人员可以集中精力在产品开发上。
【附图说明】
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍。显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种系统日志自动分析方法的流程示意图；
图2是本发明实施例提供的一种系统日志自动分析方法的流程示意图；
图3是本发明实施例提供的一种系统日志自动分析系统架构示意图；
图4是本发明实施例提供的一种系统日志自动分析过程示意图；
图5是本发明实施例提供的一种系统日志自动分析装置结构示意图。
【具体实施方式】
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
在本发明的描述中，术语“内”、“外”、“纵向”、“横向”、“上”、“下”、“顶”、“底”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明而不是要求本发明必须以特定的方位构造和操作，因此不应当理解为对本发明的限制。
此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
实施例1:
本发明实施例1提供了一种系统日志自动分析方法，用于应对企业产品使用范围增加，甚至遍及海内外，相应客服、售后的规模也会随之膨胀，相关日志维护成本远超产品开发情况，如图1所示，方法包括：
在步骤201中，自动采集一个或者多个目标系统的日志。
作为本发明实施例所适用的一种典型引用场景，所述目标系统的日志可以是针对研发环节、生产环节、销售环节、客服环节和售后环节中的一个或者多个环节，所设置的日志系统中产生的。将对应所述研发环节、生产环节、销售环节、客服环节和售后环节中的一个或者多个日志系统作为目标系统，进行相应目标系统中日志的采集。因此，在本发明实施例中，更多采用的是一种分布式日志系统进行管理，相应的采集过程更多可能是在不同的服务器，甚至于不同的数据库之间完成的。
需要指出的，上述的研发环节、生产环节、销售环节、客服环节和售后环节仅仅是一种示例性举例，不同的公司其日志的环节链条的构成复杂度会有所不同，例如：有些企业场景可能会增加测试环节，而有的企业可能会去掉其中的类似研发环节等等，类似的因地适宜的调整后的目标系统的构成形式，均属于本发明的保护范围内。
在步骤202中，提取日志关键要素，并在用于表征日志关键特征要素数量的日志特征维度超过第一预设阈值时，进行所述日志特征维度的降维处理。
通过上一步骤的解释可知悉，本发明实施例所应对的典型场景中，涉及一个由不同日志环节构成的链条，因此，涉及的整个日志管理更为复杂和多变；而为了提高因为各别日志环节上，发生日志关键特征要素的改变(包括新增和删减)，在本发明实施例中尤其关注其新增日志关键特征要素情况(典型的表现就是日志中新增一列或者多列特征维度)，此时，为了保证日志管理的高效性，就需要对日志特征维度进行降维处理，这也是本发明实施例所提出的应用场景才能体现的特殊技术性。具体的降维处理将在后续的扩展内容中具体展示，此处不多赘述。
其中，第一预设阈值根据不同平台所具备的硬件处理能力，可以做相应的适应性的调整；而所述第一预设阈值表现形式主要为各环节中相应日志所包含的日志关键特征要素的数量。优选的是，在配置所述第一预设阈值时，能够保证相应服务器在满负荷运行本发明方法时，仍然能够有30％的计算资源的盈余。
在步骤203中，根据日志关键特征要素的内容，输出一个或者多个待评估模型。
其中，带评估模型的一种表现形式是日志向量。所述日志向量可以是根据采集到的一个或者多个目标系统的日志中的共有标识特征，建立指向各产品对象的日志链条(在本发明实施例中也被表述为环节链条)，然后将日志链条中的每个日志里的日志关键特征要素进行整合，形成日志向量。而所述待评估模型可以理解为所述日志向量所映射的评估分类，例如：对于电子产品而言，所述评估分类可以是故障、损坏等等，而就其中的故障而言，还可以进一步细分为主板故障、屏幕故障、传感器故障等等。
在步骤204中，结合由历史已评估模型构成的大数据资源池和/或专家团队，完成所述待评估模型的评估分类。
此处步骤204的实现至少包含以下的两层技术含义：
第一层技术含义为：在由历史已评估模型构成的大数据资源池中，进行历史已评估模型与所述待评估模型之间的相似度匹配，对于匹配相似度超过第二预设阈值的，则将相应的已评估模型的评估分类作为所述待评估模型的评估分类。其中，所述第二预设阈值是一个动态生产的参数值，其生成的依据会根据相似度排名最靠前的两个评估分类之间，要实现95％上的分类准确度，其需要产生的相似度差距而做调整。例如：对于一个待评估模型而言，若相似度排名最靠前的两个评估分类之间差距越小，则相应的第二预设阈值会设置的更高，从而提高最终评估分类的准确性，或者，将类似难以做出准确评估分类的情况交由接下来所介绍的第二层技术含义来完成。
第二层技术含义为：在由历史已评估模型构成的大数据资源池中，进行历史已评估模型与所述待评估模型之间的相似度匹配，若未找到相似度超过第二预设阈值的历史已评估模型，则获取所述专家团队对于所述待评估模型的评估分类；其中，若专家团队所给予的评估分类与历史的已评估模型的评估分类不同，则将所述待评估模型和专家团队给予的评估分类，作为新的历史已评估模型增加到所述大数据资源池中。
本发明实施例提出了可针对多环节采集日志，并做综合分析的模型评估方法，并且，基于各环节日志可能的版本更新、日志关键特征要素的调整，提出了一套日志特征维度降维处理手段，从而使得整个分析过程不至于因为不同环节的日志特征维度的改变而变的冗余和不可控。
结合本发明实施例，对于步骤202中所涉及的提取日志关键要素，并在用于表征日志关键特征要素数量的日志特征维度超过第一预设阈值时，进行所述日志特征维度的降维处理，给予了以下几种场景的具体阐述：
场景一、
日志关键要素由日志中包含的各项内容构成，若第一环节中由日志关键特征要素的数量构成的日志特征维度超过第一预设阈值时；其中，第一环节仅仅是了后文引述的方便所起的名称，其具体表达的含义可以是本发明实施例中所列举的研发环节、生产环节、销售环节、客服环节和售后环节中的任意一个环节。
确认所述第一环节可用于关联其它各环节中针对同一目标对象的多个日志关键特征要素；根据第一环节与其它各环节的关联关系，将所述多个日志关键特征要素进行压缩处理。
例如：第一环节中分别通过第一日志关键特征要素关联第二环节，以及通过第二日志关键特征要素关联第三环节；若所述第二环节和第三环节之间还通过第三日志关键特征要素关联，则对所述第一日志关键特征要素和第二日志关键特征要素进行择一处理；其中，由所述择一处理后的第一日志关键特征要素和第二日志关键特征要素，以及所述第三日志关键特征要素可生成第一环节日志、第二环节日志和第三环节日志的关联关系。
还例如：特征值和其下一个特征值组成配对，基于每个配对内特征值构建变量统计其同时取值出现的次数，如特征值1和特征值2，其取值分别为3和5，则变量记录为I12(3，5)＝n，其中n为最终统计出来的次数。
循环遍历所有记录，统计每个配对出现的次数；出现的次数n除以总的日志记录数m，即特征值关联度；特征值关联度有传递性，即A和B同时出现，B和C同时出现，则A和C也是同时出现，故配对只需考虑相邻两个特征值即可；最终特征值关联度取值在80％以上，则认为该配对联系很紧密，可以考虑只保留其中一个(具体判断门限可以自由设置)。
场景二、
日志关键要素由日志中包含的各项内容构成，若第一环节中由日志关键特征要素的数量构成的日志特征维度超过第一预设阈值时；
确认所述第一环节中的多个日志关键特征要素，在历史使用记录中用于表征同一含义时，将所述多个日志关键特征要素进行压缩处理。
以下表所示的日志为例：
其中的IP和日志源都可以表征同一目标对象的含义，则相应的在所述日志发生新增特征项，且超过所述第一预设阈值时，可做日志关键特征要素中的上述“IP”和“日志源”的择一处理。
场景三、
日志关键要素由日志中包含的各项内容构成，若第一环节中由日志关键特征要素的数量构成的日志特征维度超过第一预设阈值时；
确认所述第一环节中的一个或者多个日志关键特征要素，在历史使用记录中的使用率，对于使用率低于第三预设阈值，并且，使用内容与最终结果之间没有实质关联性，则将所述一个或者多个日志关键特征要素进行压缩处理。此处的压缩处理多指代删除处理，即对于评估分类没有实质关联性的日志关键特征要素，在本发明实施例所提出的管理策略里，是可以做删除处理的。
例如：特征值差异化计算，收集一定数量的日志记录，然后针对每个特征值做统计分析，如果某个特征值差异化不明显，过于集中在某个取值，则该特征值最终对结果的影响肯定很小，可以考虑移除，例如在单机系统上的日志，其输出日志记录IP都是本机IP，此时IP的价值就不是很大，可以移除。
但是，需要指出的是，在优选方案中，本发明实施例所提出的系统日志分析系统，拥有自身的数据存储和管理机制，且独立于原始的日志管理。两者之间的关系，可以理解为原始的日志管理属于最底层的数据备份，而经过本发明压缩处理后的数据是专门用于分类评定使用(在某种具体应用场景中也可以直接理解为故障类型评定)。
场景四、
日志关键要素由日志中包含的各项内容构成，若第一环节中由日志关键特征要素的数量构成的日志特征维度超过第一预设阈值时；
确认所述第一环节中的一个或者多个日志关键特征要素，各自内容为指定数量的参数对象；对所述一个或者多个日志关键特征要素进行合并参数对象式压缩处理。
例如：对输入输出参数做合并，例如输入参数有4个，取值依次为10，AA，DD，CC，则新的特征值为10AADDCC，也可以将输入参数根据每个参数类别的序号进行组合。再例如参数1的序号为1，参数2的序号为C，参数3的序号为d，参数4的序号为0，则新的特征值为1Cd0。
这里是充分考虑了原始日志的作用是提供维护人员浏览和查看使用，而对于本发明实施例来说，过多的日志关键特征要素会增加服务器的计算资源的占用。而其中一种有效的压缩方式，就是重建映射关系，即将原本分离的多个日志关键特征要素进行合并，并将合并后的参数值给予新的含义，或者理解为新的日志向量组成元素，用于参与具体的评估分类过程中。
结合本发明实施例，为了能够进一步提高分析效率，还存在一种扩展实现方案，在针对具体的产品对象进行各个环节上的日志所生成的待评估模型，相应评定结果为第一故障类型时，如图2所示，所述分析方法还包括：
在步骤301中，根据所述产品对象的待评估模型中生产环节的日志，查找同一批次或者同一生产线的其它产品对象的日志，作为相应的潜在第一故障类型日志整理。
在步骤302中，根据潜在第一故障类型日志整理结果中销售环节所记录的日志关键特征要素，获得的相关消费者联系方式。
在步骤303中，触发客服环节根据所述消费者联系方式，进行相关第一故障类型的预先关注和/或排查。
通过上述步骤301-303，能够快速的通过本发明实施例提出的环节链条(或称为日志链条)，快速能够举一反三，预先完成可能发明第一故障的潜在消费者。从而将售后日志关联的水平进一步提升到一个新高度，实现了现有技术中无法完成的日志关联性分析，以及由此分析带来的实用效益。
在本发明实施例中，由于其提出的日志链条概念，相应的也能够带来步骤201中采集的周期上的差异配置，具体的，根据故障评估分类的评估模型中关联日志的分布，确定不同环节的日志的采集周期；其中，各环节拥有各自的日志生成速度，各环节的日志通过所述评估模型实现了关联关系的建立。这里的采集周期的差异配置到位的话，可以进一步提高后续在生成日志链条时的磁盘读取效率；相应的具体配置参数则根据历史采集的，用于生成日志链条的日志关键特征要素所在存储区域，以及配套的采集时间标签分析得到。
实施例2：
本发明实施例提出了一种系统日志自动分析系统，所述系统可用于运行实施例1所述的系统日志自动分析方法，并且，本发明实施例将从更为完整的架构层面展现实施例1中所提出的分析方法如何被有效的使用，如图3所示，系统包括：
在线上生产系统构建独立的日志采集单元，自动采集目标系统的日志并上传至线下分析服务器。
线下分析服务器进行数据预处理,提取日志关键要素并降低日志特征维度，便于后续智能分析引擎高将日志按照故障聚类。
线下分析服务器启动智能分析引擎，通过分析日志关键特征要素，配合专家团队根据实际情况人工标记故障，进而输出评估模型。
在线上生产系统部署智能分析引擎，导入线下输出的评估模型，并通过实时监控日志计算输出故障。
本发明实施例提出的分析方法可以实现对系统日志快速的分析，可以大大降低一线运维人员的工作难度，同时可以让软件开发人员聚焦于软件核心业务逻辑，不至于被繁琐的系统日志输出逻辑困扰。
通过本发明实施例可以看到，实施例1中通过步骤201-204得到的评估分类，在本发明实施例中是作为线上生产系统部署智能分析引擎中，导入相应评估模型(包含了评估分类)的方式使用。
本发明实施例对自动化分析降低了对上述各环节中的人力学习成本要求，实现了7X24小时自动问题定位处理，在部署相关系统之后，问题可能直接在用户侧闭环，提高产品维护效率，降低了整个环节链条的人力成本，使得研发人员可以集中精力在产品开发上。
结合本发明实施例，对于所述在线上生产系统构建独立的日志采集单元，自动采集目标系统的日志并上传至线下分析服务器，还提供了一种可选实现方式，具体包括：
构建独立的日志采集单元，通过配置目标日志路径和日志上传路径，实现自动定时日志拷贝和传送。
结合目标软件系统的特点，采用与之匹配的集中式或者分布式部署方式，部署一个或者多个日志采集单元。
启动日志采集单元，实时提取日志至指定服务器路径。
结合本发明实施例，对于线下分析服务器进行数据预处理,提取日志关键要素并降低日志特征维度，便于后续智能分析引擎高将日志按照故障聚类，还提供了一种可选实现方式，如图4所示，具体包括：
构建数据预处理器，加载日志采集单元搜集的日志数据，并按照不同日志项填写模块进行分类。
数据预处理器按照日志产生的时间要素进行切片分组，将多个日志项填写模块在同一时间切片内的日志聚合在一起形成一组日志，命名为日志向量。
数据预处理器以日志向量为基本单位分析处理数据，将时间要素、日志分类类别数值化，对于每组数据中缺少核心时间要素和日志类别信息的日志丢弃处理。其中，数值化方法可以采用常见的二进制编码，等比例缩放等或其他有效合理的自定义方法。此处所描述的形成一组日志，相比较实施例1中的日志链条而言是两个层面的技术对象，所述形成一组日志是指形成一个环节中对应一个对象的日志内容，即构成实施例中1中日志链条的各个独立日志。在本发明实施例中所阐述的时间切片，是程序代码级别的，例如：一个环节中对应一个产品对象的日志，可以是由多个日志项填写模块串行或者并行在各自负责的日志关键特征要素中填写具体内容完成的。此处，将多个日志项填写模块在同一时间切片内的日志聚合在一起形成一组日志，可以保证相应日志的完整性。
结合本发明实施例，对于所述构建智能分析引擎，通过分析数据预处理器输出的日志向量数据和故障标记，输出日志分析评估模型，还提供了一种可选实现方式，具体包括：
智能分析引擎分析日志向量数据需要提前准备合理的故障分类作为故障标记；完成了标记的数据，其故障标记作为新的特征值加入到之前输入的日志向量，作为新的日志向量参与分析；所述故障标记可以依赖一线运维类专家人工总结，也可以通过提供关键字或者故障现象开发工具来实现自动标记。
智能分析引擎通过人工智能算法对携带故障标记特征值的日志向量做分析处理。采用的算法包括但不限于亲和度分析，聚类分析(如随机森林、K-means，高斯混合模型)，神经网络(DNN)。建议同时通过多种算法分析处理，然后横向比较准确度最高的算法，然后输出评估模型。由于智能分析引擎输入的是携带故障标记特征值的日志向量，故当目标系统发生重大更新，引入新的故障类型或者改变原有故障分类时，需要重新输出新的评估模型。
结合本发明实施例，对于所述在线上生产系统部署智能分析引擎，导入线下输出的评估模型，并通过实时监控日志计算输出故障，还提供了一种可选实现方式，具体包括：
在线上生产系统环境部署智能分析引擎，通过手动或者自动的方式导入评估模型；
在线上生产系统环境部署数据预处理器，实时采集日志数据并输出日志向量供智能分析引擎分析处理。和线下智能分析引擎输出评估模型需要庞大的历史日志向量不通，线上系统只需要采集当前日志做故障分类即可，如每隔5分钟采集当前时间往前推5分钟的日志，以便降低服务器资源消耗，减少对线上生产系统的影响。
本发明实施例通过独立的日志采集单元搜集线上生产系统的日志并传输至线下系统分析处理。日志作为自然语言文本无法直接参与分析，故需要引入数据预处理器，并采用分类、时间切片、自然语言处理、亲和度分析或者主成分分析降维等一系列方法将日志转化为可以参与人工智能分析处理的向量数据。线下智能分析引擎通过输入的日志向量数据和一线专家设置的故障标记特征值，采用机器学习或者深度神经网络的方法进行处理，并横向比较选择最优的算法并输出智库模型。线上智能引擎通过引入智库模型，实时分析处理日志，输出故障原因。
接下来通过一个具体的日志表格来介绍本发明实施例实现过程的优化改进思路。
以上述系统日志为例，系统日志的核心特征大同小异，但是日志内容，指令、指令输入输出参数数量不可控，整体特征值数量从几个到上百都有可能。
在本发明实施例，进一步给予了针对上述日志文件，转化为评估模型过程中的数据优化过程，挑出其中典型的几个参数示例性阐述如下：
时间参数：时间特征值的特点是连续，如果每个时刻都作为一条记录，会导致最终输出的记录总量非常庞大，为了综合考虑处理效率及数据的独立准确性，采用切片的方式对时间特征值做合并提取，具体为：
给予固定时间间隔对文本文件做切割，一般建议为5s-30s；将该时间切片内的所有日志内容打包作为一条记录；新的日志记录使用该切片起始时间的中值作为新的记录的时间特征值(也可以简单的使用开始时间或者结束时间作为新纪录的时间特征值)；对时间特征值做数据处理，不论日志的时间格式如何，都可以轻易转换为通用协调时(UniversalTime Coordinated，简写为：UTC)秒数，同时也可以规避分布式系统跨时区导致时间不统一的问题。然后对UTC秒数做整体缩放，方法有多种，如：固定减去一个阈值；等比例缩放，如同时除以一个固定的被除数；基于时间先后顺序排序，单独给与序号id，如第一条记录时间特征值为1，第n条记录时间特征值为n。
级别参数：日志一般都会有关键字作为级别，常用的为info、debug、warn、error，也可能没有，其特征为数量有限，数据处理的方式为：按级别种类分别给与id，如info＝1，debug＝2，warn＝3，error＝4，没有则为0；二进制编码，假设级别总数为4，则info＝00，debug＝01，warn＝10，error＝11；直接使用文本关键字作为特征值。
日志ID参数：直接使用原始id；还可以将原始id做等比例缩放，如减去固定值、除以固定值，或者基于id排序，并重新赋值序号等等。
日志源参数：在日志源种类，长度有限的情况下，直接使用日志源；基于有限日志源种类，单独赋值其种类的序号。
IP参数：直接使用IP；将IP按字典顺序排序，并给与序号作为新的特征值。
动作参数：直接给与动作名称为特征值；将动作名称按照字典顺序排序，并给与序号作为新的特征值。
实施例3：
如图5所示，是本发明实施例的系统日志自动分析装置的架构示意图。本实施例的系统日志自动分析装置包括一个或多个处理器21以及存储器22。其中，图5中以一个处理器21为例。
处理器21和存储器22可以通过总线或者其他方式连接，图5中以通过总线连接为例。
存储器22作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序和非易失性计算机可执行程序，如实施例1中的系统日志自动分析方法。处理器21通过运行存储在存储器22中的非易失性软件程序和指令，从而执行系统日志自动分析方法。
存储器22可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器22可选包括相对于处理器21远程设置的存储器，这些远程存储器可以通过网络连接至处理器21。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
所述程序指令/模块存储在所述存储器22中，当被所述一个或者多个处理器21执行时，执行上述实施例1中的系统日志自动分析方法，例如，执行以上描述的图1和图2所示的各个步骤。
值得说明的是，上述装置和系统内的模块、单元之间的信息交互、执行过程等内容，由于与本发明的处理方法实施例基于同一构思，具体内容可参见本发明方法实施例中的叙述，此处不再赘述。
本领域普通技术人员可以理解实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取存储器(RAM，Random AccessMemory)、磁盘或光盘等。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (14)
1.一种系统日志自动分析方法，其特征在于，包括：
自动采集一个或者多个目标系统的日志；
提取日志关键要素，并在用于表征日志关键特征要素数量的日志特征维度超过第一预设阈值时，进行所述日志特征维度的降维处理；
根据日志关键特征要素的内容，输出一个或者多个待评估模型；
结合由历史已评估模型构成的大数据资源池和/或专家团队，完成所述待评估模型的评估分类。
2.根据权利要求1所述的系统日志自动分析方法，其特征在于，所述结合由历史已评估模型构成的大数据资源池和/或专家团队，完成所述待评估模型的评估分类，具体包括：
在由历史已评估模型构成的大数据资源池中，进行历史已评估模型与所述待评估模型之间的相似度匹配，对于匹配相似度超过第二预设阈值的，则将相应的已评估模型的评估分类作为所述待评估模型的评估分类。
3.根据权利要求1所述的系统日志自动分析方法，其特征在于，所述结合由历史已评估模型构成的大数据资源池和/或专家团队，完成所述待评估模型的评估分类，具体包括：
在由历史已评估模型构成的大数据资源池中，进行历史已评估模型与所述待评估模型之间的相似度匹配，若未找到相似度超过第二预设阈值的历史已评估模型，则获取所述专家团队对于所述待评估模型的评估分类；
其中，若专家团队所给予的评估分类与历史的已评估模型的评估分类不同，则将所述待评估模型和专家团队给予的评估分类，作为新的历史已评估模型增加到所述大数据资源池中。
4.根据权利要求1所述的系统日志自动分析方法，其特征在于，所述自动采集一个或者多个目标系统的日志，具体包括：
针对研发环节、生产环节、销售环节、客服环节和售后环节中的一个或者多个环节，设置日志系统；
将对应所述研发环节、生产环节、销售环节、客服环节和售后环节中的一个或者多个日志系统作为目标系统，进行相应目标系统中日志的采集。
5.根据权利要求4所述的系统日志自动分析方法，其特征在于，提取日志关键要素，并在用于表征日志关键特征要素数量的日志特征维度超过第一预设阈值时，进行所述日志特征维度的降维处理，具体包括：
日志关键要素由日志中包含的各项内容构成，若第一环节中由日志关键特征要素的数量构成的日志特征维度超过第一预设阈值时；
确认所述第一环节可用于关联其它各环节中针对同一目标对象的多个日志关键特征要素；根据第一环节与其它各环节的关联关系，将所述多个日志关键特征要素进行压缩处理；和/或，
确认所述第一环节中的多个日志关键特征要素，在历史使用记录中用于表征同一含义时，将所述多个日志关键特征要素进行压缩处理；和/或，
确认所述第一环节中的一个或者多个日志关键特征要素，在历史使用记录中的使用率，对于使用率低于第三预设阈值，并且，使用内容与最终结果之间没有实质关联性，则将所述一个或者多个日志关键特征要素进行压缩处理；和/或，
确认所述第一环节中的一个或者多个日志关键特征要素，各自内容为指定数量的参数对象；对所述一个或者多个日志关键特征要素进行合并参数对象式压缩处理。
6.根据权利要求5所述的系统日志自动分析方法，其特征在于，所述根据第一环节与其它各环节的关联关系，将所述多个日志关键特征要素进行压缩处理，具体包括：
第一环节中分别通过第一日志关键特征要素关联第二环节，以及通过第二日志关键特征要素关联第三环节；
若所述第二环节和第三环节之间还通过第三日志关键特征要素关联，则对所述第一日志关键特征要素和第二日志关键特征要素进行择一处理；
其中，由所述择一处理后的第一日志关键特征要素和第二日志关键特征要素，以及所述第三日志关键特征要素可生成第一环节日志、第二环节日志和第三环节日志的关联关系。
7.根据权利要求4-6任一所述的系统日志自动分析方法，其特征在于，在针对具体的产品对象进行各个环节上的日志所生成的待评估模型，相应评定结果为第一故障类型时，所述分析方法还包括：
根据所述产品对象的待评估模型中生产环节的日志，查找同一批次或者同一生产线的其它产品对象的日志，作为相应的潜在第一故障类型日志整理；
根据潜在第一故障类型日志整理结果中销售环节所记录的日志关键特征要素，获得的相关消费者联系方式；
触发客服环节根据所述消费者联系方式，进行相关第一故障类型的预先关注和/或排查。
8.根据权利要求4-6任一所述的系统日志自动分析方法，其特征在于，根据故障评估分类的评估模型中关联日志的分布，确定不同环节的日志的采集周期；
其中，各环节拥有各自的日志生成速度，各环节的日志通过所述评估模型实现了关联关系的建立。
9.一种系统日志自动分析系统，其特征在于，包括：
在线上生产系统构建独立的日志采集单元，自动采集目标系统的日志并上传至线下分析服务器；
线下分析服务器进行数据预处理,提取日志关键要素并降低日志特征维度，便于后续智能分析引擎高将日志按照故障聚类；
线下分析服务器启动智能分析引擎，通过分析日志关键特征要素，配合专家团队根据实际情况人工标记故障，进而输出评估模型；
在线上生产系统部署智能分析引擎，导入线下输出的评估模型，并通过实时监控日志计算输出故障。
10.根据权利要求9所述的系统日志自动分析系统，其特征在于，所述在线上生产系统构建独立的日志采集单元，自动采集目标系统的日志并上传至线下分析服务器，具体包括：
构建独立的日志采集单元，通过配置目标日志路径和日志上传路径，实现自动定时日志拷贝和传送；
结合目标软件系统的特点，采用与之匹配的集中式或者分布式部署方式，部署一个或者多个日志采集单元；
启动日志采集单元，实时提取日志至指定服务器路径。
11.根据权利要求10所述的系统日志自动分析系统，其特征在于，线下分析服务器进行数据预处理,提取日志关键要素并降低日志特征维度，便于后续智能分析引擎高将日志按照故障聚类，具体包括：
构建数据预处理器，加载日志采集单元搜集的日志数据，并按照不同日志项填写模块进行分类；
数据预处理器按照日志产生的时间要素进行切片分组，将多个日志项填写模块在同一时间切片内的日志聚合在一起形成一组日志，命名为日志向量；
数据预处理器以日志向量为基本单位分析处理数据，将时间要素、日志分类类别数值化，对于每组数据中缺少核心时间要素和日志类别信息的日志丢弃处理。
12.根据权利要求11所述的系统日志自动分析系统，其特征在于，构建智能分析引擎，通过分析数据预处理器输出的日志向量数据和故障标记，输出日志分析评估模型，具体包括：
智能分析引擎分析日志向量数据需要提前准备合理的故障分类作为故障标记；完成了标记的数据，其故障标记作为新的特征值加入到之前输入的日志向量，作为新的日志向量参与分析；
智能分析引擎通过人工智能算法对携带故障标记特征值的日志向量做分析处理。
13.如权利要求12所述的系统日志自动分析系统，其特征在于，在线上生产系统部署智能分析引擎，导入线下输出的评估模型，并通过实时监控日志计算输出故障，具体包括：
在线上生产系统环境部署智能分析引擎，通过手动或者自动的方式导入评估模型；
在线上生产系统环境部署数据预处理器，实时采集日志数据并输出日志向量供智能分析引擎分析处理。
14.一种系统日志自动分析装置，其特征在于，所述装置包括：
至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述处理器执行，用于执行权利要求1-8任一所述的系统日志自动分析方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010313503.XA CN113535667B (zh) | 2020-04-20 | 2020-04-20 | 一种系统日志自动分析方法、装置和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010313503.XA CN113535667B (zh) | 2020-04-20 | 2020-04-20 | 一种系统日志自动分析方法、装置和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113535667A true CN113535667A (zh) | 2021-10-22 |
| CN113535667B CN113535667B (zh) | 2024-08-02 |
Family
ID=78093702
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010313503.XA Active CN113535667B (zh) | 2020-04-20 | 2020-04-20 | 一种系统日志自动分析方法、装置和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113535667B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114780510A (zh) * | 2022-05-07 | 2022-07-22 | 合肥信息工程监理咨询有限公司 | 一种工作引擎颗粒的自动运行分析系统 |
| CN115662607A (zh) * | 2022-12-13 | 2023-01-31 | 四川大学 | 一种基于大数据分析的互联网线上问诊推荐方法及服务器 |
| CN116432469A (zh) * | 2023-04-23 | 2023-07-14 | 黑龙江木水网络科技有限公司 | 一种基于大数据的数据通道管理系统及方法 |
| CN117473094A (zh) * | 2023-12-27 | 2024-01-30 | 南京聚铭网络科技有限公司 | 日志分类方法及系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150089309A1 (en) * | 2013-09-23 | 2015-03-26 | Emc Corporation | Troubleshooting based on log similarity |
| CN106155884A (zh) * | 2015-03-31 | 2016-11-23 | 展讯通信（上海）有限公司 | 一种日志分析方法及系统 |
| CN107256219A (zh) * | 2017-04-24 | 2017-10-17 | 卡斯柯信号有限公司 | 应用于自动列车控制系统海量日志的大数据融合分析方法 |
| US20190095313A1 (en) * | 2017-09-22 | 2019-03-28 | Nec Laboratories America, Inc. | Log-based system maintenance and management |
| CN109714187A (zh) * | 2018-08-17 | 2019-05-03 | 平安普惠企业管理有限公司 | 基于机器学习的日志分析方法、装置、设备及存储介质 |
-
2020
- 2020-04-20 CN CN202010313503.XA patent/CN113535667B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150089309A1 (en) * | 2013-09-23 | 2015-03-26 | Emc Corporation | Troubleshooting based on log similarity |
| CN106155884A (zh) * | 2015-03-31 | 2016-11-23 | 展讯通信（上海）有限公司 | 一种日志分析方法及系统 |
| CN107256219A (zh) * | 2017-04-24 | 2017-10-17 | 卡斯柯信号有限公司 | 应用于自动列车控制系统海量日志的大数据融合分析方法 |
| US20190095313A1 (en) * | 2017-09-22 | 2019-03-28 | Nec Laboratories America, Inc. | Log-based system maintenance and management |
| CN109714187A (zh) * | 2018-08-17 | 2019-05-03 | 平安普惠企业管理有限公司 | 基于机器学习的日志分析方法、装置、设备及存储介质 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114780510A (zh) * | 2022-05-07 | 2022-07-22 | 合肥信息工程监理咨询有限公司 | 一种工作引擎颗粒的自动运行分析系统 |
| CN115662607A (zh) * | 2022-12-13 | 2023-01-31 | 四川大学 | 一种基于大数据分析的互联网线上问诊推荐方法及服务器 |
| CN115662607B (zh) * | 2022-12-13 | 2023-04-07 | 四川大学 | 一种基于大数据分析的互联网线上问诊推荐方法及服务器 |
| CN116432469A (zh) * | 2023-04-23 | 2023-07-14 | 黑龙江木水网络科技有限公司 | 一种基于大数据的数据通道管理系统及方法 |
| CN117473094A (zh) * | 2023-12-27 | 2024-01-30 | 南京聚铭网络科技有限公司 | 日志分类方法及系统 |
| CN117473094B (zh) * | 2023-12-27 | 2024-03-22 | 南京聚铭网络科技有限公司 | 日志分类方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113535667B (zh) | 2024-08-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113535667A (zh) | 一种系统日志自动分析方法、装置和系统 | |
| CN112221156B (zh) | 数据异常识别方法、装置、存储介质以及电子设备 | |
| CN110703057B (zh) | 基于数据增强和神经网络的电力设备局部放电诊断方法 | |
| CN111177095A (zh) | 日志分析方法、装置、计算机设备及存储介质 | |
| CN111738462B (zh) | 电力计量装置故障抢修主动服务预警方法 | |
| CN112383052A (zh) | 基于电力物联网的电网故障修复方法和装置 | |
| CN111967675A (zh) | 光伏发电量的预测方法以及预测装置 | |
| CN114942923B (zh) | 基于云平台大数据计算分析用统一管理系统 | |
| CN106534784A (zh) | 一种用于视频分析数据结果集的采集分析存储统计系统 | |
| CN114328277A (zh) | 一种软件缺陷预测和质量分析方法、装置、设备及介质 | |
| CN117221087A (zh) | 告警根因定位方法、装置及介质 | |
| CN113268370A (zh) | 一种根因告警分析方法、系统、设备及存储介质 | |
| CN106846170B (zh) | 一种发电机组跳闸监测方法及其监测装置 | |
| CN116541782A (zh) | 一种电力营销数据异常识别方法 | |
| CN114021425A (zh) | 电力系统运行数据建模与特征选择方法、装置、电子设备和存储介质 | |
| CN113052636A (zh) | 一种基于多源异构数据的农产品销量预测系统 | |
| CN114048854B (zh) | 一种深度神经网络大数据内部数据文件的管理方法 | |
| CN116956994A (zh) | 业务平台扩容预测方法及装置 | |
| CN112800219B (zh) | 客服日志反馈回流数据库的方法及系统 | |
| CN114465875A (zh) | 故障处理方法及装置 | |
| CN113379211A (zh) | 基于区块链的物流信息平台违约风险管控系统及方法 | |
| CN114329086A (zh) | 电子政务中招投标数据的问题线索筛选方法及系统 | |
| CN116993307B (zh) | 一种具有人工智能学习能力的协同办公方法及系统 | |
| CN114118542B (zh) | 烟气含氧量负荷预测模型的选择方法及装置 | |
| Huian | Stock Market Predictions Based on Time Series Prophet |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |