CN110806959A - 一种分布式服务链追踪与日志聚合的方法 - Google Patents

Abstract

本发明涉及服务链路开发技术领域，特别涉及一种分布式服务链追踪与日志聚合的方法。本发明的方法将分布式追踪系统、日志分析系统进行整合，业务层为分布表示对应系统本身的业务逻辑，基础平台层表示支持业务层的基础功能模块，数据持久层存放系统配置数据、分布式系统追踪数据、日志系统收集的日志数据，微聚合仅在两个系统接口层上再封装一个用户交互层，逻辑上将分布式追踪系统与日志系统整合成一个系统，并通过追踪Id相互关联实现聚合。本发明方法实现了服务链与日志之间相互关联查找；可以用于分布式服务链追踪。

Description

一种分布式服务链追踪与日志聚合的方法

技术领域

本发明涉及服务链路开发技术领域，特别涉及一种分布式服务链追踪与日志聚合的方法。

背景技术

传统的单体应用，因其性能底、扩展难、代码臃肿、升级困难等因素，纷纷朝分布式、微服务化改造。将各个功能子模块纷纷从单体应用中解耦，确实也是目前解决传统应用的一种有效途径。但是微服务环境下，模块与模块之间、服务与服务之间均通过rpc、http等远程调用实现。当调用系统出现异常时，定位问题出处对运维来说，无疑是一种灾难。因此，迫切需要一种能够追踪组件、模块、子服务之间的调用情况进行追踪记录的系统，由此诞生了分布式服务链追踪系统。该类型系统可以说是当今软件系统纷纷微服务环境下不可或缺的运维利器。但是，目前分布式追踪系统存在以下几个方面的问题：

一、目前分布式追踪系统方案有很多成熟方案，如skywalking、pinpoint等。这些方案在追踪分布式服务调用链时都只局限于关注服务调用正常与否，得到的基本都是粗粒度信息，并且完全割裂服务链追踪与系统应用日志。然而，通常最详细的错误记录是应用系统本身日志记录。

二、目前，业界常采用的分布式服务链追踪系统与日志系统方式是将其看两个完全独立的系统，因此在定位异常时、经常需要频繁的在两个系统之间相互切换，这无疑增加了平台的日常维护成本。

三、通常是以分布式追踪系统为主体定位异常位置，辅之日志系统定位具体错误信息。该类方式，仅能通过调用链定位异常，而不能够通过异常日志定位调用链异常。

四、通过查看日志得出最终的异常信息极大的依赖运维人员的水平、经验，不存在标准化判断流程，这导致最终的异常的定位带来了极大的不确定性和运维成本。

如将分布式追踪系统与日志系统结合方式，能极大扩展追踪系统的功能，更加便于系统异常的定位。

发明内容

本发明解决的技术问题在于提供一种分布式服务链追踪与日志聚合的方法；逻辑上统一服务链追踪与应用系统日志，实现服务链与日志之间相互关联查找。

本发明解决上述技术问题的技术方案是：

所述的方法是在已有的分布式追踪系统中微聚合日志系统；即分布式追踪系统、日志分析系统进行整合，业务层为分布表示对应系统本身的业务逻辑，基础平台层表示支持业务层的基础功能模块，数据持久层存放系统配置数据、分布式系统追踪数据、日志系统收集的日志数据，微聚合仅在两个系统接口层上再封装一个用户交互层，逻辑上将分布式追踪系统与日志系统整合成一个系统，并通过追踪Id相互关联实现聚合。

所述的分布式追踪系统设有无侵入式日志采集代理插件，无侵入式日志采集插件通过在应用系统日志采集点埋点，将每一条日志采集并增加一个追踪ID唯一标识。

所述的日志分析系统包括有日志接收模块、基本日志检索模块、智能日志分析模块；

由日志接收模块专门负责接收分布式追踪系统中的无侵入式采集代理插件发送的带有追踪Id标识的日志，并将其送入日志处理模块，并最终存入日志数据库；

由基本日志检索模块作为日志检索引擎；

由智能日志分析模块使用基于开源的scikit-learn机器学习框架，通过对应用系统的历史异常日志信息作为样本数据进行挖掘，抽取异常的特性信息，构造异常决策树，对每条入库日志进行标签化处理。

所述的方法实现日志采集的具体步骤如下：

步骤1：编辑无侵入式日志采集代理的入口类，实现premain方法；用于定义一个类转换器，完成对java类加载过程的干预；

步骤2：定义日志拦截点，该类实现ClassInstanceMethodsEnhancePluginDefine用于拦截日志写入操作，具体内部逻辑在其beforeMethod方法中实现；

步骤3：代理从追踪链Carrier中获取本次服务链的追踪Id，并复制原始日志，日志增加追踪Id标识；

步骤4：代理将带有追踪Id标识的日志记录发送到消息中间件，不带追踪Id标识的日志则不对其内容进行任何处理；

步骤5：日志接收模块读取消息中间件里面带有追踪Id标识的应用系统日志；

步骤6：日志分析系统对接收端获取的日志进行结构化、二次处理后，送入后端存储。

所述的方法实现智能日志分析的步骤是：

步骤1：分析样本异常日志，对异常日志内容与具体错误内容进行异常特征值分析，计算两者之间的Pearson相关系数；

步骤2：数据预处理，完成对步骤1得到的异常值、冗余值进行处理，并将异常日志内容进行数据规范化处理转换成对应的数值；

步骤3：日志异常信息建模，模型使用scikit-learn机器学习库的ID3算法模型构造异常识别决策树模型，并将前述步骤得到的数据送入模型进行训练；

步骤4：设置准确率阈值，比较步骤3模型是否大于等于该阈值，否则继续样本数据和模型参数；

步骤5：将上述分类模型得到的数值送入错误类型匹配反馈知识库，知识库实现异常类型与面向人类自然语言错误提示内容之间的相互转换，得到最终结果。

所述的微聚合实现步骤是：

步骤1：用户交互层接收用户请求；

步骤2：路由网关根据请求url匹配该请求导流的路径，若符合日志系统url规则，则导流到步骤3处理；若符合分布式追踪系统url规则，则导流到步骤4处理；都不满足则导流到步骤5处理；

步骤3：日志分析系统LogController接收请求、并处理，然后返回结果

步骤4：分布式追踪系统ApmController接收请求，并返回结果

步骤5：日志分析系统与分布式追踪系统聚合层接收请求，并返回结果。

本发明的分布式服务链与日志聚合方法，逻辑上统一了服务链追踪与应用系统日志，实现了服务链与日志之间相互关联查找。使用符合服务链系统插件规范的无侵入式日志采集代理采集应用系统日志，保证了系统的完整性、安全可控。引入基于数据挖掘的智能日志分析子系统，提高了系统的鲁棒性，异常信息识别的快速、高效性，并且在此过程中引入面向人类自然语言的异常表述方式极大的降低了运维成本。

附图说明

下面结合附图对本发明进一步说明：

图1是本发明分层架构图；

图2是本发明逻辑架构图；

图3是本发明日志采集流程图；

图4是本发明智能日志分析流程图；

图5是本发明微集成系统方法流程图.

具体实施方式

见图1至5所示，本发明的分布式服务链追踪与日志聚合主要通过在已有的分布式追踪系统中微集成日志系统，并最终达到追踪链与日志聚合的目的。本发明将整个系统框架分为三大模块或子系统：一、带有无侵入式日志采集代理插件的分布式追踪系统；二、具有日志接收模块、基本日志检索模块、智能日志分析模块的日志分析系统；三、分布式服务链与日志聚合模块。

本发明的分层架构如图1所示，包括用户交互层、接口层、业务层、基础平台层、数据持久层。本发明是对分布式追踪系统、日志分析系统进行整合，其中的业务层为分布表示对应系统本身的业务逻辑，基础平台层表示支持业务层的基础功能模块，数据持久层存放系统配置数据、分布式系统追踪数据、日志系统收集的日志数据。

1、分布式追踪系统

如图2所示，分布式追踪系统，是适用基于Google发布的Dapper框架开发的分布式追踪系统。

分布式追踪系统的无侵入式日志采集代理插件是一个结合javaagent、bytebudy字节码注入技术且符合分布式追踪系统插件规范的无代码侵入式插件。

无侵入式日志采集插件通过在应用系统日志采集点埋点，将每一条日志采集并增加一个追踪ID(TraceID)唯一标识。无侵入式日志采集插件并不会修改应用系统本地日志格式、内容，其仅修改发送到日志分析系统的日志，且是通过增加TraceID标识信息实现。

2、日志分析系统

日志分析系统的日志接收模块专门负责接收分布式追踪系统中的无侵入式采集代理插件发送的带有TraceId标识的日志，并将其送入日志处理模块，并最终存入日志数据库。

基本日志检索模块专门用作日志检索引擎，如elasticsearch等。

智能日志分析模块其本质是一个独立的数据挖掘系统，使用基于开源的scikit-learn机器学习框架，通过对应用系统的历史异常日志信息作为样本数据进行挖掘，抽取异常的特性信息，构造异常决策树，对每条入库日志进行标签化处理。前述的特征信息是指专家对所有原始异常信息进行数据预处理，并与基于人类自然语言的异常提示信息相关联的特征值。

3、分布式服务链与日志聚合模块

分布式服务链追踪系统与日志聚合系统是一种微聚合系统，底层的分布式追踪系统、日志分析系统是两个完全独立、功能自治的系统，微聚合仅在两个系统API层再封装一个用户交互层，如图1所示。

分布式服务链与日志聚合模块，仅是逻辑上将分布式追踪系统与日志系统整合成一个系统，并通过TraceId相互关联实现聚合。

分布式服务链与日志聚合模块将日志分析系统的智能日志分析模块得到的基于自然语言异常提示信息与分布式追踪链结合。可以通过分布式追踪链定位日志，也可通过异常日志追溯整个调用链的出现问题的节点，即在逻辑上可单独通过追踪链查找日志、也可通过日志回溯追踪链节点异常情况，互相溯源。

下面就本发明涉及的安全、无侵入式的日志采集、基于机器学习框架的智能日志分析和日志分析系统与分布式追踪系统的微聚合方法具体说明如下：。

一、安全、无侵入式的日志采集

如图3所示，实现安全、无侵入式的日志采集具步骤如下：

步骤1：编辑无侵入式日志采集代理的入口类LogAgent，该类需实现premain方法，用于定义一个类转换器ClassFileTracsformer，完成对java类加载过程的干预。

步骤2：定义日志拦截点LogInvokeInterceptor，该类实现ClassInstanceMethodsEnhancePluginDefine用于拦截日志写入操作，具体内部逻辑在其beforeMethod方法中实现。

步骤3：agent从追踪链Carrier中获取本次服务链的TraceId，并复制原始日志，日志增加TraceId标识。

步骤4：agent将带有TraceId标识的日志记录发送到MQ(消息中间件)，不带TraceId标识的日志则不对其内容进行任何处理。

步骤5：日志接收模块读取MQ里面带有TraceId标识的应用系统日志；

步骤6：日志分析系统对接收端获取的日志进行结构化、二次处理后，送入后端存储系统。

本发明仅是将Agent采集到的日志在写入应用系统日志文件之前，复制一份，并在日志发送时增加TraceId标识。这样保证了原应用系统的日志结构保持不变。考虑到应用系统本身的性能问题，为避免通信开销，发送日志并非直接与日志接收端通信。Agent采集的日志将先存放到本地MQ，日志接收端通过与MQ通信获取日志的方式。

二、基于机器学习框架的智能日志分析

如图4，本发明基于机器学习框架的智能日志分析主要由智能日志分析模块完成，其具体步骤如下：

步骤1：分析样本异常日志，对异常日志内容与具体错误内容进行异常特征值分析，计算两者之间的Pearson相关系数。

步骤2：数据预处理，完成对步骤1得到的异常值、冗余值进行处理，并将异常日志内容进行数据规范化处理转换成对应的数值。

步骤3：日志异常信息建模，模型使用scikit-learn机器学习库的ID3算法模型构造异常识别决策树模型，并将前述步骤得到的数据送入模型进行训练。

步骤4：通过设置准确率阈值，比较步骤3模型是否大于等于该值，否则继续样本数据和模型参数。

步骤5：将上述分类模型得到的数值送入错误类型匹配反馈知识库，该库实现异常类型与面向人类自然语言错误提示内容之间的相互转换，得到最终结果。

本发明以上方法并非将异常信息与服务链简单结合、展现异常信息，而是更加注重根据异常信息得到其内在的反馈内容。因为分布式服务链系统是一种运维工具、面向运维人员，运维需要直观的知道是什么错误；并非查看异常节点的异常信息，根据自己经验判断(这种方式存在很大的人为不确定性)。

同时，本发明只能日志分析模块，实现异常信息使用面向人类自然语言的表述方式，该异常表述将在系日志挖掘系统的数据预处理过程中与特征值相关联。面向人类自然语言表述方式的异常提示，这种异常提示将使定位过程规范化，减少人为因素干扰、提高了准确率、且更加降低异常阅读门槛。

三、日志分析系统与分布式追踪系统的微聚合方法

如图5所示，本发明的微聚合方法具体步骤是：

步骤1：用户交互层接收用户请求。

步骤2：路由网关AppGateway根据请求url匹配该请求导流的路径，若符合日志系统url规则，则导流到步骤3处理。若符合分布式追踪系统url规则，则导流到步骤4处理，都不满足则导流到步骤5处理。

步骤3：日志分析系统LogController接收请求、并处理，然后返回结果。

步骤4：分布式追踪系统ApmController接收请求，并返回结果。

步骤5：日志分析系统与分布式追踪系统聚合层接收请求，并返回结果。

本发明使用微集成的方式整合分布式追踪系统与日志分析系统。不需要在分布式追踪系统中整合日志分析系统的业务逻辑，避免导致系统内部耦合严重、代码臃肿、升级维护困难。

如图1所示，本发明在分布式服务链系统的ApmController层、日志分析系统的LogController层之上再封装一用户交互层PolyController，增加一应用路由网关AppGateway。分布式追踪系统与日志分析系统所需的聚合操作的业务逻辑均在该层实现,分布式追踪系统的服务请求将被路由到ApmController，日志分析系统的服务请求将被引流到LogController。这种方式，使分布式服务链系统、日志分析系统在逻辑上成为一个完整的系统，但是底层是两个分区自治系统。这种方式既能保证原独立系统的功能要求、实现系统之间的聚合逻辑，更加适应服务敏捷开发、快速上线。

Claims (7)

1.一种分布式服务链追踪与日志聚合的方法，其特征在于：所述的方法是在已有的分布式追踪系统中微聚合日志系统；即分布式追踪系统、日志分析系统进行整合，业务层为分布表示对应系统本身的业务逻辑，基础平台层表示支持业务层的基础功能模块，数据持久层存放系统配置数据、分布式系统追踪数据、日志系统收集的日志数据，微聚合仅在两个系统接口层上再封装一个用户交互层，逻辑上将分布式追踪系统与日志系统整合成一个系统，并通过追踪Id相互关联实现聚合。

2.根据权利要求1所述的方法，其特征在于：所述的分布式追踪系统设有无侵入式日志采集代理插件，无侵入式日志采集插件通过在应用系统日志采集点埋点，将每一条日志采集并增加一个追踪ID唯一标识。

3.根据权利要求2所述的方法，其特征在于：所述的日志分析系统包括有日志接收模块、基本日志检索模块、智能日志分析模块；

由日志接收模块专门负责接收分布式追踪系统中的无侵入式采集代理插件发送的带有追踪Id标识的日志，并将其送入日志处理模块，并最终存入日志数据库；

由基本日志检索模块作为日志检索引擎；

由智能日志分析模块使用基于开源的scikit-learn机器学习框架，通过对应用系统的历史异常日志信息作为样本数据进行挖掘，抽取异常的特性信息，构造异常决策树，对每条入库日志进行标签化处理。

4.根据权利要求3所述的方法，其特征在于：所述的方法实现日志采集的具体步骤如下：

步骤1：编辑无侵入式日志采集代理的入口类，实现premain方法；用于定义一个类转换器，完成对java类加载过程的干预；

步骤2：定义日志拦截点，该类实现ClassInstanceMethodsEnhancePluginDefine用于拦截日志写入操作，具体内部逻辑在其beforeMethod方法中实现；

步骤3：代理从追踪链Carrier中获取本次服务链的追踪Id，并复制原始日志，日志增加追踪Id标识；

步骤4：代理将带有追踪Id标识的日志记录发送到消息中间件，不带追踪Id标识的日志则不对其内容进行任何处理；

步骤5：日志接收模块读取消息中间件里面带有追踪Id标识的应用系统日志；

步骤6：日志分析系统对接收端获取的日志进行结构化、二次处理后，送入后端存储。

5.根据权利要求3或4所述的方法，其特征在于：所述的方法实现智能日志分析的步骤是：

步骤1：分析样本异常日志，对异常日志内容与具体错误内容进行异常特征值分析，计算两者之间的Pearson相关系数；

步骤2：数据预处理，完成对步骤1得到的异常值、冗余值进行处理，并将异常日志内容进行数据规范化处理转换成对应的数值；

步骤3：日志异常信息建模，模型使用scikit-learn机器学习库的ID3算法模型构造异常识别决策树模型，并将前述步骤得到的数据送入模型进行训练；

步骤4：设置准确率阈值，比较步骤3模型是否大于等于该阈值，否则继续样本数据和模型参数；

步骤5：将上述分类模型得到的数值送入错误类型匹配反馈知识库，知识库实现异常类型与面向人类自然语言错误提示内容之间的相互转换，得到最终结果。

6.根据权利要求3或4所述的方法，其特征在于：所述的微聚合实现步骤是：

步骤1：用户交互层接收用户请求；

步骤2：路由网关根据请求url匹配该请求导流的路径，若符合日志系统url规则，则导流到步骤3处理；若符合分布式追踪系统url规则，则导流到步骤4处理；都不满足则导流到步骤5处理；

步骤3：日志分析系统LogController接收请求、并处理，然后返回结果

步骤4：分布式追踪系统ApmController接收请求，并返回结果

步骤5：日志分析系统与分布式追踪系统聚合层接收请求，并返回结果。

7.根据权利要求5所述的方法，其特征在于：所述的微聚合实现步骤是：

步骤1：用户交互层接收用户请求；

步骤2：路由网关根据请求url匹配该请求导流的路径，若符合日志系统url规则，则导流到步骤3处理；若符合分布式追踪系统url规则，则导流到步骤4处理；都不满足则导流到步骤5处理；

步骤3：日志分析系统LogController接收请求、并处理，然后返回结果

步骤4：分布式追踪系统ApmController接收请求，并返回结果

步骤5：日志分析系统与分布式追踪系统聚合层接收请求，并返回结果。

Images