CN110908971A

CN110908971A - 一种系统日志管理方法、装置、存储介质和设备

Info

Publication number: CN110908971A
Application number: CN201911089074.6A
Authority: CN
Inventors: 张贵勇
Original assignee: Suzhou Wave Intelligent Technology Co Ltd
Current assignee: Suzhou Wave Intelligent Technology Co Ltd
Priority date: 2019-11-08
Filing date: 2019-11-08
Publication date: 2020-03-24

Abstract

本发明实施例公开了一种系统日志管理方法、装置、存储介质和设备，所述方法包括：统计目标日志文件中的每个日志级别的日志记录数目；根据每个日志级别的日志记录数目和日志影响因素计算所述目标日志文件的重要程度；根据所述目标日志文件的重要程度，确定删除所述目标日志文件的时间。本申请首先统计日志文件中的各种日志级别的日志记录数，其次根据各日志级别的日志记录数、停更时间、容量大小等因素计算当前日志文件的重要程度，然后根据日志文件的重要程度，动态调整自动删除日志的时间。

Description

一种系统日志管理方法、装置、存储介质和设备

技术领域

本发明实施例涉及日志管理技术，尤指一种系统日志管理方法、装置、存储介质和设备。

背景技术

系统日志用于记录系统中的各种软硬件的运行信息和异常信息等。技术人员可以通过分析系统日志了解软件的运行过程、错误发生的原因等信息。系统日志中的一条日志记录一般包括记录时间、记录模块、记录级别、记录内容4个部分。记录时间是当前日志产生的时间；记录模块是当前日志是由哪个模块产生的；记录级别是当前日志的级别，其中，日志级别由低到高一般包括info、warn、error、fatal四个级别；记录内容是具体的日志信息。

随着系统运行时间增加，日志数据也在不断增加。若不对日志数据进行处理(例如定时自动删除日志文件)，则这些日志文件会占据系统大量容量空间。因此对日志文件的定时自动删除策略十分重要。若定时时间过长，则仍然占据系统容量，影响系统性能；若定时时间过短，则用户可能会丢失重要的日志数据，无法分析定位问题。另外由于当前的日志定时自动删除策略是在后台运行，用户无法感知，很有可能让用户错失关键重要的日志数据。

发明内容

本发明实施例提供了一种系统日志管理方法、装置、存储介质和设备，动态调整每条日志自动删除的时间。

为了达到本发明实施例目的，本发明实施例提供了一种系统日志管理方法，所述方法包括：

统计目标日志文件中的每个日志级别的日志记录数目；

根据每个日志级别的日志记录数目和日志影响因素计算所述目标日志文件的重要程度；

根据所述目标日志文件的重要程度，确定删除所述目标日志文件的时间。

优选地，所述日志影响因素包括：日志停更时间、日志文件容量。

优选地，所述的方法还包括：展示所述目标日志文件的日志信息。

优选地，所述的方法还包括：提示用户设置删除所述目标日志文件的时间。

优选地，所述的方法还包括：根据预设的重要程度阈值和容量阈值确定对所述目标日志文件操作建议。

优选地，所述日志信息包括以下的一项或者多项：

文件名称、模块名称、容量大小、每个日志级别的日志记录数目、目标日志文件的重要程度、停更时间、删除时间、操作建议。

优选地，根据每个日志级别的日志记录数目和日志影响因素计算所述目标日志文件的重要程度包括：

针对每个日志级别，根据所述日志级别中的日志记录数目和日志文件容量，计算所述日志级别单位容量内的日志记录数目；

根据预设的单位容量内的日志记录数目的权重和日志文件的停更时间距离当前计算时间的权重，计算所述目标日志文件的重要程度；

其中，单位容量内的日志记录数目的权重随日志级别由低到高逐渐增大；日志文件的停更时间距离当前计算时间的权重随时间有长到短逐渐增大。

日志文件F_i的重要程度计算公式为V_i＝(w_iN_ii+w_wN_iw+w_eN_ie+w_fN_if)/C_i*[T₀-min(T₁，T₂，......T_n)]/(T₀-T_i)；

w_i，w_w，w_e，w_f分别为四种日志级别的计算权重；

N_ii，N_iw，N_ie,N_if分别为日志文件F_i的四种级别的记录数目；

T₁，T₂，……T_n分别为n个日志文件的停更时间；

C₁，C₂，……C_n分别为n个日志文件的容量；

T₀为日志文件重要程度的当前计算时间；

N为日志文件的数量，i为1到n的任意整数。

优选地，所述的方法还包括：比较用户设置的删除所述目标日志文件的时间和确定的删除所述目标日志文件的时间，依据用户设置的删除所述目标日志文件的时间删除所述目标日志文件。

优选地，根据预设的重要程度阈值和容量阈值确定对所述目标日志文件操作建议包括：

当所述目标日志文件的重要程度低于预设的第一重要程度阈值时，则建议用户直接删除当前日志；

预设置一个较高的容量阈值，当所述目标日志文件容量高于预设的容量阈值时，则建议用户将所述目标日志文件存储至其他存储空间；

当所述目标日志文件的重要程度高于预设的第二重要程度阈值时，则建议用户延长自动删除时间；

当用户对所述目标日志文件已设置删除时间，且用户设置的删除所述目标日志文件的时间早于确定的删除所述目标日志文件的时间，则建议用户延长自动删除时间。

第二方面，本发明实施例还提供一种系统日志管理装置，包括：

日志分析模块，设置为统计目标日志文件中的每个日志级别的日志记录数目；

日志维护模块，设置为根据每个日志级别的日志记录数目和日志影响因素计算所述目标日志文件的重要程度；

日志管理模块，设置为根据所述目标日志文件的重要程度，确定删除所述目标日志文件的时间。

第三方面，本发明实施例还提供一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令用于执行上述的系统日志管理方法。

第四方面，本发明还提供一种用于实现系统日志管理的设备，包括存储器和处理器，所述存储器保存系统日志管理程序，所述处理器用于在所述系统日志管理程序被读取时执行上述的系统日志管理方法。

本发明实施例的有益效果可以包括：

本发明实施例首先统计日志文件中的各种日志级别的日志记录数，其次根据各日志级别的日志记录数、停更时间、容量大小等因素计算当前日志文件的重要程度，然后根据日志文件的重要程度，动态调整自动删除日志的时间。

在一种示例性实施例中，本发明实施例提供用户界面展示日志文件的相关信息，帮助用户自定义管理日志文件。。

本发明实施例的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明实施例的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

附图说明

附图用来提供对本发明实施例技术方案的进一步理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本发明实施例的技术方案，并不构成对本发明实施例技术方案的限制。

图1为本发明实施例的系统日志管理方法的流程图；

图2为本发明实施例的系统日志管理装置的结构示意图；

图3为本发明实施例的系统日志管理的示意图；

图4为本发明实施例的基于日志级别的系统日志管理示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚明白，下文中将结合附图对本发明的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。

在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

实施例一

本发明实施例提供了一种系统日志管理方法，如图1所示，所述方法可以包括步骤S101和步骤S103：

S101、统计目标日志文件中的每个日志级别的日志记录数目；

S102、根据每个日志级别的日志记录数目和日志影响因素计算所述目标日志文件的重要程度；

S103、根据所述目标日志文件的重要程度，确定删除所述目标日志文件的时间。

本发明实施例中，所述日志影响因素包括：停更时间、容量大小。

本发明实施例首先分析并统计系统上每个日志文件中的每个日志级别的日志记录数目，其次根据统计结果、日志停更时间、日志容量大小等因素计算每个日志文件的重要程度，并根据重要程度调整对应文件的自动删除时间。

本发明实施例中，为每个为日志影响因素设定系数或者权重，然后进行加权求和，量化获得一个重要程度数值，根据重要程度数值的大小确定删除的时间，重要程度越高，删除的时间越晚。

本发明实施例通过统计分析日志文件中的各种日志等级的日志记录数，综合考量日志文件大小、停更时间等因素，计算每个日志文件的重要程度，并根据重要程度动态调整日志文件的自动删除时间，实现针对不同日志文件设置合理的保留时间，避免用户丢失重要的日志数据。

本发明实施例中，所述的方法，还包括：展示所述目标日志文件的日志信息。

本发明实施例提供用户管理日志界面，用户通过该日志管理界面，可以查看每个日志文件的相关信息，包括文件名、模块名、容量大小、各日志级别的日志记录数、重要程度、停更时间(最后一次被修改的时间)、自动删除时间、操作建议。日志管理界面还提供可设置自动删除时间和直接删除日志的按钮，帮助用户管理日志文件。

本发明实施例中，所述的方法，还包括：提示用户设置删除所述目标日志文件的时间。

本发明实施例还可以使用户直观了解日志文件的关键信息，并根据情况和操作建议自定义设置删除时间、直接删除日志或者转储日志，实现日志管理的灵活控制，既保证用户不丢失重要日志数据，又可合理有效利用系统存储空间。

本发明实施例中，所述的方法，还包括：根据预设的重要程度阈值和容量阈值确定对所述目标日志文件操作建议。

本发明实施例中，所述日志信息包括以下的一项或者多项：

本发明实施例中，步骤S102中根据每个日志级别的日志记录数目和日志影响因素计算所述目标日志文件的重要程度包括：

本发明实施例中，根据每个日志文件中的每种日志级别的日志记录数目的统计数据，并同时考量日志文件的停更时间、日志文件大小等因素，计算日志文件的重要程度，计算基本原则如下：

A、根据各级别日志记录数和日志文件大小，计算单位容量内的各级别日志记录数；

B、日志级别由低到高，参与重要程度计算的单位容量内各级别日志记录数的权重也越大；

C、日志文件的停更时间距离当前计算时间越长，日志文件的重要程度越低。

本发明实施例中计算删除所述目标日志文件的时间间隔以天为单位，例如每隔一天计算一次。

本发明实施例中，步骤S102根据每个日志级别的日志记录数目和日志影响因素计算所述目标日志文件的重要程度包括：

w_i，w_w，w_e，w_f分别为四种日志级别的计算权重；

T₁，T₂，……T_n分别为n个日志文件的停更时间；

C₁，C₂，……C_n分别为n个日志文件的容量；

T₀为日志文件重要程度的当前计算时间；

N为日志文件的数量，i为1到n的任意整数。

本发明实施例中，日志文件中一般会记录某一条日志的级别，日志级别一般包括info、warn、error、fatal四个级别。本发明实施例中统计每个日志文件中的每种级别的日志记录数目。每种级别的日志记录数目用于计算对应文件的重要程度。

本发明实施例中，所述的方法，还包括：比较用户设置的删除所述目标日志文件的时间和确定的删除所述目标日志文件的时间，依据用户设置的删除所述目标日志文件的时间删除所述目标日志文件。

本发明实施例中，删除所述目标日志文件的时间以用户设置的时间为准。

本发明实施例中，根据预设的重要程度阈值和容量阈值确定对所述目标日志文件操作建议包括：

本发明实施例中，给出操作建议的原则如下：

1、预设置一个较低重要程度阈值，若某日志文件的重要程度低于预设的较低阈值，则建议用户直接删除当前日志；

2、预设置一个较高的容量阈值，若某日志文件容量高于预设的阈值，则建议用户转储当前日志(转储即是将日志存放到其他存储空间)；

3、预设置一个较高的重要程度阈值，若某日志文件满足以下所有条件，则建议用户延长自动删除时间

A、用户对该日志文件已设置自动删除时间，且设置的时间早于系统计算的自动删除时间；

B、该日志文件的重要程度高于预设的较高阈值。

实施例二

本发明实施例提供了一种系统日志管理装置，如图2所示，所述装置包括：

本发明实施例提供了本发明实施例还提供一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令用于执行上述的系统日志管理方法。

本发明实施例还提供一种用于实现系统日志管理的设备，包括存储器和处理器，所述存储器保存系统日志管理程序，所述处理器用于在所述系统日志管理程序被读取时执行上述的系统日志管理方法。

实施例三

本发明实施例基于日志级别说明系统日志管理的过程：

如图3所示，系统服务负责生产日志文件；日志管理负责分析日志文件、调整定时删除策略、提供日志管理界面；用户则是使用各种系统服务和日志管理的界面。

如图4所示，一种基于日志级别的系统日志管理方法实现过程示意图，包括日志分析模块、日志元数据库、日志维护模块、日志管理模块四部分，具体实施过程如下：

日志分析模块：分析并统计系统中日志文件的各种日志级别的日志记录数。

日志元数据库：存放日志文件的相关信息的数据库，日志文件的文件名、模块名、容量大小、各日志级别的日志记录数、重要程度、停更时间、默认自动删除时间、用户定义自动删除时间、操作建议等信息存放在该数据库中。

日志维护模块：根据日志分析模块的统计数据，计算日志文件的重要程度；获取日志文件的模块名、容量大小、停更时间等信息；将以上信息更新至日志元数据库。

日志管理界面：根据重要程度计算日志自动删除时间；根据以上信息给出操作建议；删除到期日志、提供自动删除实际配置、日志删除、日志转储功能。

本发明实施例还提供交互界面，展示每个日志文件的相关信息。

本发明实施例的交互界面还提供设置自动删除时间按钮、删除日志按钮，转储日志按钮，帮助用户管理日志文件。

本发明实施例中，由日志维护模块根据日志文件的日志重要程度、停更时间、容量大小等因素，动态调整默认自动删除时间，给出操作建议，并将上述信息写入日志元数据库。日志文件到期时日志管理模块执行自动删除日志文件。

调整默认自动删除时间基本原则：日志文件重要程度越高，日志文件的自动删除时间越晚，即保留时间越长。延长时间以天为单位。对于用户手动设置了自动删除时间的日志文件，在日志文件元数据库中进行标记，不再进行默认自动删除时间调整。

自动删除时间调整方法示例如下：

假设基本调整单位为D(例如D＝5，表示5天)，基本重要程度单位为V(例如V＝100)；

日志文件F_i的延长天数计算公式为：[V_i/V]*D,[]表示向下取整。

操作建议包括但不限于：建议直接删除日志、建议日志进行转储。

交互界面可以查看每个日志文件的相关信息，包括文件名、模块名、容量大小、各日志级别的日志记录数、重要程度、停更时间、自动删除时间、操作建议。

交互界面显示的数据来源于日志元数据库，其中自动删除时间显示原则为：若用户已设置自动删除时间，则显示用户的设置值；若用户尚未设置自动删除时间，则显示元数据库中的默认自动删除时间。

本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些组件或所有组件可以被实施为由处理器，如数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。

Claims

1.一种系统日志管理方法，其特征在于，所述方法包括：

统计目标日志文件中的每个日志级别的日志记录数目；

2.根据权利要求1所述的方法，其特征在于，所述日志影响因素包括：日志停更时间、日志文件容量。

3.根据权利要求1所述的方法，其特征在于，还包括：展示所述目标日志文件的日志信息。

4.根据权利要求1所述的方法，其特征在于，还包括：提示用户设置删除所述目标日志文件的时间。

5.根据权利要求1或4所述的方法，其特征在于，还包括：根据预设的重要程度阈值和容量阈值确定对所述目标日志文件操作建议。

6.根据权利要求3所述的方法，其特征在于，所述日志信息包括以下的一项或者多项：

7.根据权利要求2所述的方法，其特征在于，根据每个日志级别的日志记录数目和日志影响因素计算所述目标日志文件的重要程度包括：

8.根据权利要求7所述的方法，其特征在于，根据每个日志级别的日志记录数目和日志影响因素计算所述目标日志文件的重要程度包括：

w_i，w_w，w_e，w_f分别为四种日志级别的计算权重；

T₁，T₂，……T_n分别为n个日志文件的停更时间；

C₁，C₂，……C_n分别为n个日志文件的容量；

T₀为日志文件重要程度的当前计算时间；

N为日志文件的数量，i为1到n的任意整数。

9.根据权利要求4所述的方法，其特征在于，还包括：比较用户设置的删除所述目标日志文件的时间和确定的删除所述目标日志文件的时间，依据用户设置的删除所述目标日志文件的时间删除所述目标日志文件。

10.根据权利要求5所述的方法，其特征在于，根据预设的重要程度阈值和容量阈值确定对所述目标日志文件操作建议包括：

11.一种系统日志管理装置，其特征在于，包括：

12.一种计算机可读存储介质，存储有计算机可执行指令，其特征在于，所述计算机可执行指令用于执行权利要求1-10任一所述的系统日志管理方法。

13.一种用于实现系统日志管理的设备，包括存储器和处理器，其特征在于，所述存储器保存存储系统日志管理程序，所述处理器用于在所述系统日志管理程序被读取时执行权利要求1-10任一所述的系统日志管理方法。