CN107463490A - 一种应用于平台开发中的集群日志集中收集方法 - Google Patents

Abstract

本发明公开了一种应用于平台开发中的集群日志集中收集方法，包括应用系统、监听器、日志收集器、配置模块接口、接口配置模块和日志储存模块，所述应用系统、监听器、日志收集器依次电通信连接，所述日志收集器分别与接口配置模块、日志储存模块电通信连接，所述接口配置模块与配置模块接口电通信连接。本发明可以针对某个指定接口做日志收集，且实现集中收集，更加方便开发人员和运维维护人员实时追踪分析日志，在不需要时，使用配置取消收集日志，这样可以最大程度节约服务器资源，同时使用更为便捷。

Description

一种应用于平台开发中的集群日志集中收集方法

技术领域

本发明涉及平台开发运营领域，尤其涉及一种应用于平台开发中的集群日志集中收集方法。

背景技术

随着智能电视的用户越来越多，使用个性化推荐系统的用户出现井喷式增长，推荐平台时时刻刻都在接受挑战，这时就需要实时关注推荐平台运行状况，通过关注某些接口的日志，通过分析日志判定平台是否正常，是否能抗住压力，推荐效果是否合格等，便于平台维护工作。

现有日志收集器大体有两种：(1)在代码中嵌入日志收集代码来打印单台服务器的日志，这种日志分散在集群的各个服务器上，在追踪日志，分析日志时候难度较大，不利于实时追踪分析，而且在不需要打印日志的情况下，需要修改应用配置文件，需要重启应用，对业务造成不稳定因素；(2)使用统一日志收集器，这种日志虽然可以统一的收集到一个地方，存入数据库或者消息队列或者日志文件，但同一时间收集大量日志，这种收集器应用与大数据分析平台，但在一些规模小或者非数据方向的产品中使用，会造成服务器资源浪费，它不能针对性收集日志，实时追踪分析日志的操作难度也较大。

发明内容

针对现有技术存在的不足之处，本发明的目的在于提供一种应用于平台开发中的集群日志集中收集方法，可以针对某个指定接口做日志收集，且实现集中收集，更加方便开发人员和运维维护人员实时追踪分析日志，在不需要时，使用配置取消收集日志，这样可以最大程度节约服务器资源，同时使用更为便捷。

本发明的目的通过下述技术方案实现：

一种应用于平台开发中的集群日志集中收集方法，包括应用系统、监听器、日志收集器、配置模块接口、接口配置模块和日志储存模块，所述监听器用于监听所有接口并判定各个接口是否需要收集日志，所述监听器还用于调集日志收集器去收集需要收集日志的接口的所有日志文本；所述接口配置模块用于开放rest接口与rpc接口，所述接口配置模块用于各个接口是否需要收集日志；所述日志储存模块用于对日志收集器所收集的所有日志文本进行存储；所述配置模块接口用于按照接口配置模块所配制的配制信息对接口进行是否需要收集日志的配制；所述应用系统用于实时查询日志储存模块所存储的所有日志文本；所述应用系统、监听器、日志收集器依次电通信连接，所述日志收集器分别与接口配置模块、日志储存模块电通信连接，所述接口配置模块与配置模块接口电通信连接；其方法如下：

A、通过应用系统对接口配置模块进行各个接口的配制信息输入，该配制信息包括该接口是否需要收集日志，所述接口配置模块向配置模块接口发送该接口的配制命令，所述配置模块接口按照接口配置模块所传输过来的配制命令对接口进行是否需要收集日志的相关配制；

B、所述监听器对各个接口的日志信息进行监控，所述监听器监听所有接口是否需要收集日志，如果接口需要收集日志，则监听器继续监听该接口是否存在日志变化，如果接口不需要收集日志，则监听器不会监听该接口是否存在日志变化；当监听器监听到某个接口更新了日志或修改了日志，所述监听器会将日志收集器向日志收集器发送对该接口的日志提取和存储操作，所述日志收集器获取该接口的所有日志文件并存储于日志储存模块中；

C、应用系统可以对日志储存模块进行查询，通过应用系统查询各个接口所对应的配制信息、所有日志文件。

本发明在不影响平台正常运行，不修改应用配置，不特定增加日志打印或者配置日志的代码的情况下，通过接口配置模块配置需要收集日志的应用平台相关接口，日志收集器集中收集所配置相关接口的日志并储存，便于开发人员和运维维护人员实时追踪分析日志，同时，日志收集器具有可配置性，通过清除配置取消日志收集，最大限度的降低服务器资源的消耗，适用于非大数据方向的所有java项目使用。

本发明较现有技术相比，具有以下优点及有益效果：

本发明可以针对某个指定接口做日志收集，且实现集中收集，更加方便开发人员和运维维护人员实时追踪分析日志，在不需要时，使用配置取消收集日志，这样可以最大程度节约服务器资源，同时使用更为便捷。

附图说明

图1为本发明的原理结构框图。

具体实施方式

下面结合实施例对本发明作进一步地详细说明：

实施例

如图1所示，一种应用于平台开发中的集群日志集中收集方法，包括应用系统、监听器、日志收集器、配置模块接口、接口配置模块和日志储存模块，所述监听器用于监听所有接口并判定各个接口是否需要收集日志，所述监听器还用于调集日志收集器去收集需要收集日志的接口的所有日志文本；所述接口配置模块用于开放rest接口与rpc接口，所述接口配置模块用于各个接口是否需要收集日志；所述日志储存模块用于对日志收集器所收集的所有日志文本进行存储；所述配置模块接口用于按照接口配置模块所配制的配制信息对接口进行是否需要收集日志的配制；所述应用系统用于实时查询日志储存模块所存储的所有日志文本；所述应用系统、监听器、日志收集器依次电通信连接，所述日志收集器分别与接口配置模块、日志储存模块电通信连接，所述接口配置模块与配置模块接口电通信连接；其方法如下：

A、通过应用系统对接口配置模块进行各个接口的配制信息输入，该配制信息包括该接口是否需要收集日志，所述接口配置模块向配置模块接口发送该接口的配制命令，所述配置模块接口按照接口配置模块所传输过来的配制命令对接口进行是否需要收集日志的相关配制；

B、所述监听器对各个接口的日志信息进行监控，所述监听器监听所有接口是否需要收集日志，如果接口需要收集日志，则监听器继续监听该接口是否存在日志变化，如果接口不需要收集日志，则监听器不会监听该接口是否存在日志变化；当监听器监听到某个接口更新了日志或修改了日志，所述监听器会将日志收集器向日志收集器发送对该接口的日志提取和存储操作，所述日志收集器获取该接口的所有日志文件并存储于日志储存模块中；

C、应用系统可以对日志储存模块进行查询，通过应用系统查询各个接口所对应的配制信息、所有日志文件。

基于dubbo框架编写日志收集器和接口配置管理器，日志收集器主要做日志收集，并根据要求存入文件或者消息服务器，接口配置管理器用于配置平台中指定收集日志的接口，开发人员可以通过http方式调用接口，增加或清除相应接口配置；

本发明的平台方面基于spring切面编程，使用spring aop模式监听所有接口，并预先组织所有需求的日志，通过dubbo配置加载日志收集器和接口配置管理器的响应接口类，在监听器里使用接口管理器获取需要收集日志的接口配置，拦截所有接口，并判定接口是否需要被收集日志，如果属于则调用日志收集接口传入该接口所有日志文本，日志收集器包含以下几个模块：

(1)接口配置模块：基于dubbo框架，开放rest接口和rpc接口，rest接口用于配置管理需要收集日志的接口配置，需要收集日志时，配置相应接口和日志存储方式，不需要收集日志时，删除该项配置，接口配置模块的配置功能基于dubbo框架的restful风格开发的接口，开发人员可以通过http方式调用接口查看配置或者更改配置，这样做既可以满足让日志收集器收集到指定接口的日志用于实时分析，也可以在不需要日志时，让平台不在传入日志，节约服务器资源；rpc接口提供给平台调用，获取指定接口配置，这样应用平台可以及时更新到接口配置，判定判定是否需要传入日志或者需要传入日志的接口；

(2)日志收集器：基于dubbo框架，在应用平台开发rpc接口，通过应用平台传入的日志信息，根据日志内某个约定标志，对日志进行存储分类，并且存入对应的存储模块，对于大集群或日志量大的情况，可以存入到kafka等消息队列中，对于小集群或日志量小的情况，可以写入日志文件，方便开发人员和运维维护人员实时分析

监听器：基于spring切面编程，配置使用spring aop功能，监听应用平台所有接口，并预先编写需要打印的全部日志，比如输入和输出内容，平台报错内容，接口执行时间，访问接口的ip或mac地址等，平台通过dubbo，配置、加载日志收集器和接口配置器接口类，在监听器中每10分钟调用一次接口配置器接口获取并缓存接口配置，如果接口配置内容为空，则说明不需要收集日志，如果配置内容不为空，则监听器判定对应接口，并调用日志收集器接口传入对应接口的全部日志，当以上完成后，部署应用后，就可以通过接口配置器来配置指定接口，收集器就能收集到指定接口的日志了。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (1)

1.一种应用于平台开发中的集群日志集中收集方法，其特征在于：包括应用系统、监听器、日志收集器、配置模块接口、接口配置模块和日志储存模块，所述监听器用于监听所有接口并判定各个接口是否需要收集日志，所述监听器还用于调集日志收集器去收集需要收集日志的接口的所有日志文本；所述接口配置模块用于开放rest接口与rpc接口，所述接口配置模块用于各个接口是否需要收集日志；所述日志储存模块用于对日志收集器所收集的所有日志文本进行存储；所述配置模块接口用于按照接口配置模块所配制的配制信息对接口进行是否需要收集日志的配制；所述应用系统用于实时查询日志储存模块所存储的所有日志文本；所述应用系统、监听器、日志收集器依次电通信连接，所述日志收集器分别与接口配置模块、日志储存模块电通信连接，所述接口配置模块与配置模块接口电通信连接；其方法如下：

A、通过应用系统对接口配置模块进行各个接口的配制信息输入，该配制信息包括该接口是否需要收集日志，所述接口配置模块向配置模块接口发送该接口的配制命令，所述配置模块接口按照接口配置模块所传输过来的配制命令对接口进行是否需要收集日志的相关配制；

B、所述监听器对各个接口的日志信息进行监控，所述监听器监听所有接口是否需要收集日志，如果接口需要收集日志，则监听器继续监听该接口是否存在日志变化，如果接口不需要收集日志，则监听器不会监听该接口是否存在日志变化；当监听器监听到某个接口更新了日志或修改了日志，所述监听器会将日志收集器向日志收集器发送对该接口的日志提取和存储操作，所述日志收集器获取该接口的所有日志文件并存储于日志储存模块中；

C、应用系统可以对日志储存模块进行查询，通过应用系统查询各个接口所对应的配制信息、所有日志文件。