[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN115292268A - 一种日志上传方法、装置、电子设备及存储介质 - Google Patents

一种日志上传方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN115292268A
CN115292268A CN202210897082.9A CN202210897082A CN115292268A CN 115292268 A CN115292268 A CN 115292268A CN 202210897082 A CN202210897082 A CN 202210897082A CN 115292268 A CN115292268 A CN 115292268A
Authority
CN
China
Prior art keywords
log
uploaded
storage space
server
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210897082.9A
Other languages
English (en)
Inventor
尹逊宫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing QIYI Century Science and Technology Co Ltd
Original Assignee
Beijing QIYI Century Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing QIYI Century Science and Technology Co Ltd filed Critical Beijing QIYI Century Science and Technology Co Ltd
Priority to CN202210897082.9A priority Critical patent/CN115292268A/zh
Publication of CN115292268A publication Critical patent/CN115292268A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/18File system types
    • G06F16/1805Append-only file systems, e.g. using logs or journals to store data
    • G06F16/1815Journaling file systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/06Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明实施例提供了一种日志上传方法、装置、电子设备及存储介质,所述方法包括:获取待上传日志,其中,待上传日志携带所要上传的服务器类型;根据服务器类型以及预设的服务器类型与存储空间的对应关系,确定服务器类型对应的目标存储空间;将待上传日志存储至目标存储空间;当满足日志上传条件时,从目标存储空间读取待上传日志,并根据待上传日志对应的服务器类型,将待上传日志上传至目标服务器。由于电子设备对于不同类型的日志,均可以根据服务器类型与存储空间的对应关系,完成该日志的存储和上传,所以只需要一套日志上传系统,减少了代码量,并且拓展上传日志时,也只需要存储相应的服务器类型与存储空间对应关系即可,无需开发新系统。

Description

一种日志上传方法、装置、电子设备及存储介质
技术领域
本发明涉及数据传输技术领域,特别是涉及一种日志上传方法、装置、电子设备及存储介质。
背景技术
为了更好的分析用户行为,给每一个用户更精确的推荐产品,同时也为了分析产品的设计是否合理,能否满足当前用户的需求,需要通过服务器对用户的APP(Application)客户端上传的该用户的各种日志进行分析。例如,将用户的页面停留日志和用户的浏览记录日志等记录有用户行为的业务日志上传至业务服务器进行分析,将页面的加载时间日志、崩溃日志和接口耗时日志等表征APP健康情况的监控日志上传至监控服务器进行分析,还有一些APP会做无痕埋点,用作后续深挖用户属性或者习惯的时候使用。
由于这些日志的格式、处理方式以及对接的服务器系统都是不一样的,所以需要为每一种日志专门设置一套日志上传系统去做日志存储和上传,这样APP侧就会有很多冗余的代码,并且如果需要新增加一类日志的上传,就需要新开发一套代码,这样开发工作量大,不利于后期的扩展和维护。
发明内容
本发明实施例的目的在于提供一种日志上传方法、装置、电子设备及存储介质,以减少日志上传系统的代码量和便于后续日志上传的扩展。具体技术方案如下:
第一方面,本发明实施例提供了一种日志上传方法,所述方法包括:
获取待上传日志,其中,所述待上传日志携带所要上传的服务器类型;
根据所述服务器类型以及预设的服务器类型与存储空间的对应关系,确定所述服务器类型对应的目标存储空间;
将所述待上传日志存储至所述目标存储空间;
当满足日志上传条件时,从所述目标存储空间读取所述待上传日志,并根据所述待上传日志对应的服务器类型,将所述待上传日志上传至目标服务器。
可选的,所述根据所述服务器类型以及预设的服务器类型与存储空间的对应关系,确定所述服务器类型对应的目标存储空间的步骤,包括:
将所述待上传日志发送至各个存储空间对应的管理器,以使所述各个存储空间对应的管理器根据所述待上传日志携带的服务器类型以及预设的服务器类型与存储空间的对应关系,确定对应的存储空间是否用于存储所述待上传日志,如果是,将对应的存储空间确定为目标存储空间。
可选的,所述方法还包括:
按照第一预设时间间隔,判断所述存储空间中的数据量是否大于第一预设阈值;
如果是,则采用预设的该存储空间对应的删除方式对该存储空间中的数据进行删除;
判断删除后的该存储空间中的数据量是否大于所述第一预设阈值;
如果是,则按照存储时间删除该存储空间中的数据,以使该存储空间中的数据量不大于所述第一预设阈值。
可选的,在所述从所述目标存储空间读取所述待上传日志,并根据所述待上传日志对应的服务器类型的步骤之前,所述方法还包括:
按照第二预设时间间隔,判断所述目标存储空间中的数据量是否达到第二预设阈值;
如果达到,则确定满足日志上传条件。
可选的,在所述将所述待上传日志上传至目标服务器的步骤之后,所述方法还包括:
判断所述待上传日志是否上传成功;
如果上传成功,则从所述目标存储空间删除所述待上传日志;
如果上传失败,则根据所述服务器类型以及预设的服务器类型与日志处理方式的对应关系,确定所述服务器类型对应的目标日志处理方式,其中,所述日志处理方式包括删除日志和重传日志;
根据所述目标日志处理方式对所述待上传日志进行处理。
可选的,所述获取待上传日志的步骤,包括:
获取各个预设埋点产生的原始日志;
根据预设的数据处理方式,将所述原始日志转换为目标格式的待上传日志。
可选的,在所述根据所述待上传日志对应的服务器类型,将所述待上传日志上传至目标服务器的步骤之前,所述方法还包括:
根据所述服务器类型以及预设的服务器类型与回调接口的对应关系,确定所述服务器类型对应的目标回调接口;
调用所述回调接口将所述待上传日志由目标格式转换为所述服务器类型对应的日志格式。
可选的,所述存储空间至少包括:硬盘、内存和数据库。
第二方面,本发明实施例提供了一种日志上传装置,所述装置包括:
日志获取模块,用于获取待上传日志,其中,所述待上传日志携带所要上传的服务器类型;
存储空间确定模块,用于根据所述服务器类型以及预设的服务器类型与存储空间的对应关系,确定所述服务器类型对应的目标存储空间;
日志存储模块,用于将所述待上传日志存储至所述目标存储空间;
日志上传模块,用于当满足日志上传条件时,从所述目标存储空间读取所述待上传日志,并根据所述待上传日志对应的服务器类型,将所述待上传日志上传至目标服务器。
可选的,所述存储空间确定模块,具体用于:
将所述待上传日志发送至各个存储空间对应的管理器,以使所述各个存储空间对应的管理器根据所述待上传日志携带的服务器类型以及预设的服务器类型与存储空间的对应关系,确定对应的存储空间是否用于存储所述待上传日志,如果是,将对应的存储空间确定为目标存储空间。
可选的,所述装置,还包括:
第一存储空间判断模块,用于按照第一预设时间间隔,判断所述存储空间中的数据量是否大于第一预设阈值;
第一数据删除模块,用于在所述第一存储空间判断模块的判断结果为是时,采用预设的该存储空间对应的删除方式对该存储空间中的数据进行删除;
第二存储空间判断模块,用于判断删除后的该存储空间中的数据量是否大于所述第一预设阈值;
第二数据删除模块,用于在所述第二存储空间判断模块的判断结果为是时,按照存储时间删除该存储空间中的数据,以使该存储空间中的数据量不大于所述第一预设阈值。
可选的,所述装置,还包括:
第三存储空间判断模块,用于按照第二预设时间间隔,判断所述目标存储空间中的数据量是否达到第二预设阈值;
上传触发模块,用于在判断结果为是时,确定满足日志上传条件。
可选的,所述装置,还包括:
上传判断模块,用于判断所述待上传日志是否上传成功;
日志删除模块,用于在判断结果为是时,从所述目标存储空间删除所述待上传日志;
日志处理方式确定模块,用于在判断结果为否时,根据所述服务器类型以及预设的服务器类型与日志处理方式的对应关系,确定所述服务器类型对应的目标日志处理方式,其中,所述日志处理方式包括删除日志和重传日志;
日志处理模块,用于根据所述目标日志处理方式对所述待上传日志进行处理。
可选的,所述日志获取模块,包括:
原始日志获取单元,用于获取各个预设埋点产生的原始日志;
日志格式转换单元,用于根据预设的数据处理方式,将所述原始日志转换为目标格式的待上传日志。
可选的,所述装置还包括:
回调接口确定模块,用于根据所述服务器类型以及预设的服务器类型与回调接口的对应关系,确定所述服务器类型对应的目标回调接口;
日志格式转换模块,用于调用所述回调接口将所述待上传日志由目标格式转换为所述服务器类型对应的日志格式。
可选的,所述存储空间至少包括:硬盘、内存和数据库。
第三方面,本发明实施例提供了一种电子设备,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现上述第一方面任一所述的方法步骤。
第四方面,本发明实施例提供了一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述第一方面任一所述的方法步骤。
本发明实施例提供的方案中,电子设备可以获取待上传日志,其中,待上传日志携带所要上传的服务器类型;根据服务器类型以及预设的服务器类型与存储空间的对应关系,确定服务器类型对应的目标存储空间;将待上传日志存储至目标存储空间;当满足日志上传条件时,从目标存储空间读取待上传日志,并根据待上传日志对应的服务器类型,将待上传日志上传至目标服务器。由于电子设备对于不同类型的待上传日志,均可以根据待上传日志中包含的服务器类型以及预设的服务器类型与存储空间的对应关系,确定用于存储待上传日志的目标存储空间以及将待上传日志上传至对应的目标服务器,所以只需要一套日志上传系统即可实现不同类型待上传日志的上传,不需要为每一类型的待上传日志都专门写一套日志上传系统,可以减少日志上传系统的代码量。并且后续拓展其他类型的待上传日志时,也只需要在上述对应关系中增加该类型待上传日志所要上传的服务器类型与存储空间的对应关系,即可实现该类型待上传日志的存储和上传,无需开发新的日志上传系统,便于扩展其他类型的待上传日志的存储和上传。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。
图1为本发明实施例所提供的一种日志上传方法的流程图;
图2为基于图1所示实施例的服务器配置信息存储方式的一种示意图;
图3为基于图1所示实施例的日志分发存储方式的一种示意图;
图4为基于图1所示实施例的日志分发存储方式的另一种示意图;
图5为基于图1所示实施例的数据删除方式的一种流程图;
图6为基于图1所示实施例的日志上传条件确定方式的一种流程图;
图7为基于图1所示实施例的日志上传方式的一种流程图;
图8为基于图1所示实施例的对已上传日志处理方式的一种流程图;
图9为基于图1所示实施例的获取待上传日志方式的一种流程图;
图10为基于图1所示实施例的日志格式转换方式的一种流程图;
图11为本发明实施例所提供的日志上传方法所基于的拓扑结构示意图;
图12为本发明实施例所提供的一种日志上传装置的结构示意图;
图13为本发明实施例所提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行描述。
为了减少日志上传系统的代码量和便于后续日志上传的扩展,本发明实施例提供了一种日志上传方法、装置、电子设备、计算机可读存储介质以及计算机程序产品。下面首先对本发明实施例所提供的一种日志上传方法进行介绍。
本发明实施例所提供的一种日志上传方法可以应用于任意需要进行日志上传的电子设备,例如,可以为终端、服务器等,在此不做具体限定。为了描述清楚,以下称为电子设备。
如图1所示,一种日志上传方法,所述方法包括:
S101,获取待上传日志;
其中,所述待上传日志携带所要上传的服务器类型。
S102,根据所述服务器类型以及预设的服务器类型与存储空间的对应关系,确定所述服务器类型对应的目标存储空间;
S103,将所述待上传日志存储至所述目标存储空间;
S104,当满足日志上传条件时,从所述目标存储空间读取所述待上传日志,并根据所述待上传日志对应的服务器类型,将所述待上传日志上传至目标服务器。
可见,本发明实施例提供的方案中,电子设备可以获取待上传日志,其中,待上传日志携带所要上传的服务器类型;根据服务器类型以及预设的服务器类型与存储空间的对应关系,确定服务器类型对应的目标存储空间;将待上传日志存储至目标存储空间;当满足日志上传条件时,从目标存储空间读取待上传日志,并根据待上传日志对应的服务器类型,将待上传日志上传至目标服务器。由于电子设备对于不同类型的待上传日志,均可以根据待上传日志中包含的服务器类型以及预设的服务器类型与存储空间的对应关系,确定用于存储待上传日志的目标存储空间以及将待上传日志上传至对应的目标服务器,所以只需要一套日志上传系统即可实现不同类型待上传日志的上传,不需要为每一类型的待上传日志都专门写一套日志上传系统,可以减少日志上传系统的代码量。并且后续拓展其他类型的待上传日志时,也只需要在上述对应关系中增加该类型待上传日志所要上传的服务器类型与存储空间的对应关系,即可实现该类型待上传日志的存储和上传,无需开发新的日志上传系统,便于扩展其他类型的待上传日志的存储和上传。
服务器在对电子设备和使用电子设备的用户行为进行监测和分析时,需要获取预先布置在电子设备中的多个埋点所产生的待上传日志,因此,电子设备可以获取各个埋点产生的待上传日志并上传至相应的服务器,以使服务器可以对电子设备和使用电子设备的用户行为进行监测和分析。
其中,埋点可以用于监听电子设备运行过程中发生的事件,并对事件进行判断,当埋点关注的事件发生时,埋点可以对事件进行捕获产生待上传日志。并且因为每个埋点所对应的服务器类型不同,例如,推荐埋点对应的服务器类型为推荐服务器,监控埋点对应的服务器类型为监控服务器,无痕埋点对应的服务器为用于分析用户属性和习惯的服务器,所以埋点在产生待上传日志时,待上传日志可以携带所要上传的服务器类型,以便后续电子设备对待上传日志进行处理。
当服务器需要对终端和终端用户行为进行监测和分析时,待上传日志可以为终端产生的日志,当需要对提供业务服务的服务器进行监测和分析时,待上传日志可以为服务器产生的日志,在此不做具体限定。
获取到待上传日志后,电子设备可以执行上述步骤S102,以将待上传日志进行存储。电子设备在存储待上传日志时,因为上传至不同服务器类型的待上传日志的大小、重要性、对于时延性要求和对于容错性要求可能是不同的,所以电子设备可以为待上传日志分配对应的存储空间。其中,存储空间可以包括硬盘、内存和数据库,还可以包括软盘和光盘等,在此不做具体限定。
在一种实施方式中,由于硬盘存储适用于时延性要求低且日志量较大的场景;内存存储适用于时延性要求高,但是对容错性要求低的场景;数据库存储适用于时延性要求中等且对容错性要求高的场景。因此,对于需要上传至实时推荐服务器的待上传日志来说,其对于时延性要求高,但是对于容错性要求低,所以对于该类待上传日志,可以分配内存进行存储;对于需要上传至监控服务器的待上传日志来说,其对于时延性要求中等,但是对于容错性要求高,所以对于该类待上传日志,可以分配数据库进行存储;对于需要上传至用于分析用户属性和习惯的服务器的待上传日志来说,其对于时延性要求低,但是数据量比较大,所以对于该类待上传日志,可以分配硬盘进行存储。
其中,对于上传至不同服务器类型的待上传日志对应的时延性要求而言,可以按照待上传日志上传至对应的服务器的速度要求来进行划分。作为一种实施方式,待上传日志需要以秒级速度上传至对应的服务器,则可以认为其时延性要求高;待上传日志在生成当天上传至对应的服务器即可,则可以认为其时延性要求中等;待上传日志在生成当周上传至对应的服务器即可,则可以认为其时延性要求低。
对于上传至不同服务器类型的待上传日志对应的容错性要求而言,可以按照待上传日志在上传至对应的服务器的过程中所能允许的最大丢失率进行划分。作为一种实施方式,待上传日志在上传至对应的服务器的过程中所能允许的最大丢失率为2%,则可以认为其容错性要求高;待上传日志在上传至对应的服务器的过程中所能允许的最大丢失率为5%,则可以认为其容错性要求中等;待上传日志在上传至对应的服务器的过程中所能允许的最大丢失率为20%,则可以认为其容错性要求低。对于时延性要求和容错性要求的具体划分标准,可以根据实际应用需求对应设置,在此不做具体限定。
为了方便对待上传日志的存储,可以预先建立服务器类型和存储空间之间的对应关系,这样,电子设备在获取到携带所要上传的服务器类型的待上传日志后,便可以根据待上传日志携带的服务器类型以及预设的服务器类型与存储空间的对应关系,确定出用于存储待上传日志的目标存储空间,并将其进行存储。
电子设备在将待上传日志存储至目标存储空间后,在上述步骤S104中,当满足日志上传条件时,电子设备可以从目标存储空间读取待上传日志,并根据待上传日志对应的服务器类型,将待上传日志上传至目标服务器。电子设备可以周期性地判断是否满足日志上传条件,当然也可以按照其他规则确定是否满足日志上传条件,例如,可以定时确定是否满足日志上传条件等,在此不做具体限定。
在一种实施方式中,在电子设备布置埋点的过程中,服务器可以将服务器类型和服务器地址等发送至电子设备,电子设备可以根据上述内容预先建立服务器类型和服务器地址的对应关系,这样,电子设备在读取待上传日志后,可以根据待上传日志所要上传的服务器类型以及预设的服务器类型和服务器地址的对应关系确定服务器地址,进而可以根据该服务器地址将待上传日志上传至目标服务器。
为了方便进行待上传日志的存储和上传,电子设备中可以具有存储管理单元,该存储管理单元用于管理上传至不同服务器类型的待上传日志的存储和上传操作,在该存储管理单元初始化时,其可以预先保存服务器所对应的配置信息,例如,name:服务器的类型、url:服务器的地址、time:上传至该服务器的待上传日志的上传时间间隔、type:用于存储上传至该服务器的待上传日志的存储空间等,还可以保存用于调用回调接口的callback函数。在一种实施方式中,如图2所示,存储管理单元在初始化时,可以接收服务器所发送的服务器配置信息并进行保存,在另一种实施方式中,存储管理单元也可以接收技术人员主动设置的服务器配置信息并进行保存,这都是合理的,在此不做具体限定。
本发明实施例提供的方案中,电子设备对于不同类型的待上传日志,均可以根据待上传日志中包含的服务器类型以及预设的服务器类型与存储空间的对应关系,确定用于存储待上传日志的目标存储空间以及将待上传日志上传至对应的目标服务器,所以只需要一套日志上传系统即可实现不同类型待上传日志的上传,不需要为每一类型的待上传日志都专门写一套日志上传系统,可以减少日志上传系统的代码量。并且后续拓展其他类型的待上传日志时,也只需要在上述对应关系中增加该类型待上传日志所要上传的服务器类型与存储空间的对应关系,即可实现该类型待上传日志的存储和上传,无需开发新的日志上传系统,便于扩展其他类型的待上传日志的存储和上传。
作为本发明实施例的一种实施方式,上述根据所述服务器类型以及预设的服务器类型与存储空间的对应关系,确定所述服务器类型对应的目标存储空间的步骤,可以包括:
将所述待上传日志发送至各个存储空间对应的管理器,以使所述各个存储空间对应的管理器根据所述待上传日志携带的服务器类型以及预设的服务器类型与存储空间的对应关系,确定对应的存储空间是否用于存储所述待上传日志,如果是,将对应的存储空间确定为目标存储空间。
在电子设备中布置埋点的过程中,服务器可以将该服务器的服务器类型和该埋点生成的日志所对应的存储空间发送至电子设备,电子设备可以将上述对应关系发送至各个存储空间对应的管理器,由各个管理器存储该对应关系。
针对存储空间包括硬盘、内存和数据库的情况,在一种实施方式中,如图3所示,当电子设备获取到待上传日志后,可以将待上传日志分发至各个存储空间对应的管理器,由各个存储空间对应的管理器确定对应的存储空间是否用于存储该待上传日志,将用于存储该待上传日志的存储空间确定为目标存储空间。
在另一种实施方式中,如图4所示,当电子设备获取到待上传日志后,可以将待上传日志先发送至硬盘对应的管理器,由硬盘对应的管理器确定硬盘是否用于存储该待上传日志,如果是,则将硬盘确定为目标存储空间,如果否,则将待上传日志发送至内存对应的管理器,由内存对应的管理器确定内存是否用于存储该待上传日志,如果是,则将内存确定为目标存储空间,如果否,则将待上传日志发送至数据库对应的管理器,由数据库对应的管理器确定数据库是否用于存储该待上传日志,如果是,则将数据库确定为目标存储空间,如果否,则确定当前的存储空间均无法用于存储该待上传日志。
可以理解的是,虽然图4仅示出了待上传日志先发送至硬盘对应的管理器,再发送至内存对应的管理器,最后发送至数据库对应的管理器的方式,但是实际上,上述待上传日志发送至各个存储空间对应的管理器的顺序可以按照实际需求去进行调整,并不仅限定于图4所示的这一种方式。
本发明实施例提供的方案中,电子设备可以将待上传日志发送至各个存储空间对应的管理器,由各个存储空间对应的管理器确定目标存储空间,在一定程度上可以减轻电子设备的压力,同时因为待上传日志已经发送到了各个存储空间对应的管理器,所以当管理器确定该管理器对应的存储空间为目标存储空间时,可以直接对该待上传日志进行存储,因此可以实现待上传日志的快速存储。
作为本发明实施例的一种实施方式,如图5所示,上述方法还可以包括:
S501,按照第一预设时间间隔,判断所述存储空间中的数据量是否大于第一预设阈值;
为了避免存储空间中的数据量过大,电子设备可以按照第一预设时间间隔对存储空间中的数据量进行检测,判断存储空间中的数据量是否大于第一预设阈值,各个存储空间所对应的第一预设阈值可以相同,也可以不同,在此不做具体限定。
S502,如果是,则采用预设的该存储空间对应的删除方式对该存储空间中的数据进行删除;
如果判断结果为是,则表明存储空间中的数据量过大,可能会影响后续待上传日志的存储,所以需要对该存储空间中的数据进行删除,此时,电子设备可以先按照该存储空间所对应的删除方式对该存储空间中的数据进行删除。
在一种实施方式中,电子设备可以预先存储各个存储空间所对应的删除方式,例如,对于内存来说,其实现的是暂时存储的作用,并且其存储的数据对于时延性要求高,所以内存对应的删除方式可以为删除时效过期的数据。本领域技术人员可以根据存储空间的存储特点和/或所存储数据的特点对应设计每个存储空间所对应的删除方式,在此不做具体限定。
S503,判断删除后的该存储空间中的数据量是否大于所述第一预设阈值;
S504,如果是,则按照存储时间删除该存储空间中的数据,以使该存储空间中的数据量不大于所述第一预设阈值。
上述存储空间对应的删除方式能够删除掉特定的数据,例如内存对应的删除方式可以删除时效过期的数据,但是并不能够保证按照该删除方式删除数据后的存储空间中的数据量不大于第一预设阈值,例如,内存时效过期的数据所占用的数据量很小,此时删除该时效过期的数据并不能够显著降低内存中的数据量。因此,在通过存储空间对应的删除方式对该存储空间中的数据进行删除后,电子设备可以再次对存储空间中的数据量进行检测,判断存储空间中的数据量是否大于第一预设阈值,如果否,则表示当前该存储空间中的数据量满足要求,可以间隔第一预设时间间隔,再对该存储空间进行检测。如果是,则表示当前该存储空间中的数据量仍不满足要求,需要进一步删除,此时电子设备可以采用各个存储空间所通用的删除方式对存储空间中的数据进行删除,即按照存储时间的前后顺序,优先删除该存储空间中存储时间最早的数据,直至该存储空间中的数据量不大于第一预设阈值。
本发明实施例提供的方案中,电子设备可以按照第一预设时间间隔,对存储空间中的数据量进行检测,并在存储空间中的数据量大于第一预设阈值时,对该存储空间中的数据进行删除,由此保证该存储空间中始终具有空闲位置,进而保证电子设备在存储待上传日志时,能够成功的将待上传日志存储至该存储空间中。并且电子设备在删除存储空间中的数据时,可以先采用各个存储空间对应的删除方式进行删除,当该删除方式无法满足要求时,再采用各个存储空间通用的删除方式进行删除,因此,也降低了数据删除操作对于该存储空间中的正常数据的影响。
作为本发明实施例的一种实施方式,如图6所示,在上述从所述目标存储空间读取所述待上传日志,并根据所述待上传日志对应的服务器类型的步骤之前,上述方法还可以包括:
S601,按照第二预设时间间隔,判断所述目标存储空间中的数据量是否达到第二预设阈值;
S602,如果达到,则确定满足日志上传条件。
为了确定待上传日志是否达到预设的日志上传条件,电子设备可以按照第二预设时间间隔对目标存储空间中的数据量进行检测,判断目标存储空间中的数据量是否达到第二预设阈值,其中,上述第二时间间隔可以是电子设备为上传至各服务器类型的待上传日志统一设置的,也可以电子设备为上传至各服务器类型的待上传日志分别设置的,例如服务器在电子设备中布置埋点时,可以将该服务器类型所对应的待上传日志的上传时间间隔发送至电子设备,电子设备将该服务器类型所对应的上传时间间隔作为上传至该服务器类型的待上传日志所对应的第二预设时间间隔。
在一种实施方式中,如图7所示,电子设备可以首先检测相应的应用程序是否启动,例如,当电子设备为终端时,可以检测终端中的APP是否启动,当电子设备为服务器时,可以检测服务器中的程序是否启动。这都是合理的,在此不做具体限定。
当电子设备检测到相应的应用程序启动时,为了不占用应用程序的启动时间,保证应用程序启动的流畅性,电子设备可以延迟一定时间后,例如10秒后,再向电子设备中的日志发送线程发送唤醒信息,然后判断日志发送线程是否连接网络,如果没有连接网络,则间隔第二预设时间间隔,例如30秒,重新向电子设备中的日志发送线程发送唤醒信息,如果连接网络,则进一步判断目标存储空间中的数据量是否达到第二预设阈值,例如,判断目标存储空间中的数据量是否大于100M。
如果目标存储空间中的数据量达到第二预设阈值,则说明当前目标存储空间中的数据量较大,可以进行待上传日志的上传步骤,即当目标存储空间中的数据量达到第二预设阈值,可以确定满足日志上传条件。
如果目标存储空间中的数据量没有达到第二预设阈值,则说明当前目标存储空间中的数据量较小,此时,无需进行待上传日志上传步骤,可以等待后续产生的待上传日志存储至目标存储空间后,再一起进行上传,因此,为了避免频繁上传占用电子设备的资源,电子设备在确定存储空间中的数据量没有达到第二预设阈值时,不会进行上传步骤,而是间隔第二预设时间间隔重新发送唤醒信息,再次进行有无网络连接和目标存储空间中的数据量的判断。
本发明实施例提供的方案中,电子设备可以通过判断目标存储空间中的数据量是否达到第二预设阈值来确定是否满足日志上传条件,从而实现了在目标存储空间中的待上传日志的数据量达到一定数量时,才会对待上传日志进行上传,避免了频繁进行上传而占用电子设备的资源。同时在此过程中,电子设备还可以延迟唤醒日志发送线程以及判断日志发送线程是否连接有网络,以保证应用程序启动的流畅性和待上传日志的成功上传。
作为本发明实施例的一种实施方式,如图8所示,在上述将所述待上传日志上传至目标服务器的步骤之后,上述方法还可以包括:
S801,判断所述待上传日志是否上传成功;
因为可能存在服务器出现故障无法接收待上传日志,或待上传日志上传过程中出现连接断开等情况,所以电子设备在将待上传日志上传至目标服务器后,可以进一步判断待上传日志是否上传成功,例如,在将待上传日志上传至目标服务器后,可以判断是否接收到目标服务器发送的应答信息,如果是,则确定待上传日志上传成功,如果否,则确定待上传日志未上传成功。
S802,如果上传成功,则从所述目标存储空间删除所述待上传日志;
待上传日志成功上传服务器后,目标存储空间中所存储的待上传日志也就失去了作用,所以电子设备在待上传日志上传成功后,可以从目标存储空间删除该待上传日志,从而实现对目标存储空间的空间清理。
在一种实施方式中,如图7所示,电子设备从目标存储空间删除待上传日志后,可以间隔第二预设时间间隔重新向日志发送线程发送唤醒信息,再次进行有无网络连接和目标存储空间中的数据量的判断。
S803,如果上传失败,则根据所述服务器类型以及预设的服务器类型与日志处理方式的对应关系,确定所述服务器类型对应的目标日志处理方式;
其中,所述日志处理方式包括删除日志和重传日志。
S804,根据所述目标日志处理方式对所述待上传日志进行处理。
因为上传至不同服务器类型的待上传日志的特点不同,所以上传至不同服务器类型的待上传日志在上传失败后,所要进行的日志处理方式也是不同的,例如,对于上传至实时推荐服务器的待上传日志来说,其对于时延性要求高,所以在上传失败后,可能就会存在待上传日志过期的情况,所以电子设备在该待上传日志上传失败时,可以对该待上传日志进行删除。又例如,对于上传至用于分析用户属性和习惯的服务器的待上传日志来说,其对于时延性要求低,但是日志的数据量比较大,所以在上传失败后,可以不删除该上传日志,在下一次满足日志上传条件时,对该待上传日志进行重传。因此,当待上传日志上传失败,电子设备可以根据该待上传日志所携带的服务器类型,以及预设的服务器类型与日志处理方式的对应关系,确定对于该待上传日志是进行删除操作还是重传操作,并执行对应的操作。
在一种实施方式中,如图7所示,如果待上传日志上传失败,电子设备可以判断是否要删除该待上传日志,如果是,则删除待上传日志,间隔第二预设时间间隔重新发送唤醒信息,再次进行有无网络连接和目标存储空间中的数据量的判断,如果否,则间隔第二预设时间间隔重新发送唤醒信息,再次进行有无网络连接和数据量的判断,可以理解的是,因为此时电子设备并没有删除该待上传日志,所以判断出具有网络连接和数据量达到第二预设阈值,进行日志上传时,可以再次将该待上传日志进行上传,即实现了待上传日志的重传操作。
本发明实施例提供的方案中,电子设备在待上传日志上传成功时,可以从目标存储空间删除该待上传日志,在待上传日志上传失败时,可以根据该待上传日志所要上传的服务器类型,确定对该待上传日志进行处理方式,从而实现了目标存储空间的清理,也在一定程度上保障了待上传日志的成功上传。
作为本发明实施例的一种实施方式,如图9所示,上述获取待上传日志的步骤,可以包括:
S901,获取各个预设埋点产生的原始日志;
S902,根据预设的数据处理方式,将所述原始日志转换为目标格式的待上传日志。
电子设备要对各个预设埋点产生的日志进行统一的存储操作和上传操作,而不同预设埋点产生的日志的格式和内容是不同的,所以为了便于对该不同预设埋点产生的日志进行统一处理,电子设备可以先获取各个预设埋点产生的原始日志,然后根据预设的数据处理方式,将各个预设埋点产生的原始日志转换为目标格式的待上传日志,实现日志格式的统一,便于后续对该待上传日志的处理。
在一种实施方式中,电子设备可以为将原始日志的信息以通用字段的形式进行表示,从而将原始日志转换为目标格式的待上传日志,例如,以t表示原始日志产生的系统时间,规定该系统时间需要精确到ms;以v表示产生原始日志的应用程序的版本号,规定该版本号以string类型表示;以_c表示原始日志所要上传的服务器类型,规定该服务器类型以string类型表示;以_id表示一个连续自增的id,规定该id用于标识原始日志在预设埋点中生成的顺序,便于跟踪日志丢失和串联日志的先后顺序;以uid表示一个唯一的设备ID,用于标识唯一的电子设备;其他数据采用JSON对象的形式进行传递,其中上述通用字段均以“_”开头可以避免与业务数据冲突。
本发明实施例提供的方案中,电子设备可以将各个预设埋点产生的原始日志转换为目标格式的待上传日志,实现日志格式的统一,便于电子设备对来自不同预设埋点的日志进行统一处理。
作为本发明实施例的一种实施方式,如图10所示,在上述根据所述待上传日志对应的服务器类型,将所述待上传日志上传至目标服务器的步骤之前,上述方法还可以包括:
S1001,根据所述服务器类型以及预设的服务器类型与回调接口的对应关系,确定所述服务器类型对应的目标回调接口;
S1002,调用所述回调接口将所述待上传日志由目标格式转换为所述服务器类型对应的日志格式。
因为预设埋点是由服务器预先布置在电子设备中的,所以服务器所处理的日志的格式与预设埋点产生的原始日志的格式是相对应的,但是电子设备在获取待上传日志时,将各个预设埋点产生的原始日志都转换为目标格式的待上传日志,所以服务器在接收到该目标格式的待上传日志后,需要先将该待上传日志的格式进行转换后,才可以进行待上传日志的读取和处理操作。因此为了服务器可以直接对待上传日志进行读取和处理操作,电子设备可以在将待上传日志上传至服务器之前,先将待上传日志的格式转换为服务器类型对应的日志格式。
在一种实施方式中,服务器在电子设备中布置预设埋点时,可以将该服务器的服务器类型和相应的回调接口发送至电子设备,电子设备可以根据上述内容预先建立服务器类型与回调接口的对应关系,其中,每个服务器类型所对应的回调接口可以将待上传日志由目标格式转换为该服务器类型对应的日志格式,因此,电子设备在对待上传日志进行上传之前,可以先根据待上传日志所要上传的服务器类型以及预设的服务器类型与回调接口的对应关系,调用相应的回调接口,对待上传日志的格式进行转换。
本发明实施例提供的方案中,电子设备在对待上传日志进行上传之前,可以根据预先配置的回调接口将待上传日志由目标格式转换为该待上传日志所要上传的服务器类型所对应的日志格式,从而使得服务器可以直接对该待上传日志进行处理。
下面基于图11对本发明实施例所提供的日志上传方法进行举例介绍,如图11所示,电子设备中的预设埋点可以将待上传日志发送至电子设备中的内存,由内存确定用于存储该待上传日志的存储空间,并且该存储空间中可以配置有存储空间配置信息,例如,服务器类型与存储空间的对应关系等。电子设备可以根据待上传日志所要上传的服务器类型发送至相应的服务器,例如,业务服务器或监控服务器,其中,每个服务器都具有服务器配置信息,在电子设备布置预设埋点的过程中,服务器可以将该服务器的配置信息发送至电子设备,例如将服务器的标识,服务器的地址、上传至该服务器的日志的上传时间间隔和日志的存储空间以及该服务器所对应的回调接口等发送至电子设备。
本发明实施例提供的方案中,电子设备对于不同类型的待上传日志,均可以根据待上传日志中包含的服务器类型以及预设的服务器类型与存储空间的对应关系,确定用于存储待上传日志的目标存储空间以及将待上传日志上传至对应的目标服务器,所以只需要一套日志上传系统即可实现不同类型待上传日志的上传,不需要为每一类型的待上传日志都专门写一套日志上传系统,可以减少日志上传系统的代码量。并且后续拓展其他类型的待上传日志时,也只需要在上述对应关系中增加该类型待上传日志所要上传的服务器类型与存储空间的对应关系,即可实现该类型待上传日志的存储和上传,无需开发新的日志上传系统,便于扩展其他类型的待上传日志的存储和上传。
相应于上述日志上传方法,本发明实施例还提供了一种日志上传装置。下面对本发明实施例所提供的一种日志上传装置进行介绍。
如图12所示,一种日志上传装置,所述装置包括:
日志获取模块1210,用于获取待上传日志,其中,所述待上传日志携带所要上传的服务器类型;
存储空间确定模块1220,用于根据所述服务器类型以及预设的服务器类型与存储空间的对应关系,确定所述服务器类型对应的目标存储空间;
日志存储模块1230,用于将所述待上传日志存储至所述目标存储空间;
日志上传模块1240,用于当满足日志上传条件时,从所述目标存储空间读取所述待上传日志,并根据所述待上传日志对应的服务器类型,将所述待上传日志上传至目标服务器。
可见,本发明实施例提供的方案中,电子设备可以获取待上传日志,其中,待上传日志携带所要上传的服务器类型;根据服务器类型以及预设的服务器类型与存储空间的对应关系,确定服务器类型对应的目标存储空间;将待上传日志存储至目标存储空间;当满足日志上传条件时,从目标存储空间读取待上传日志,并根据待上传日志对应的服务器类型,将待上传日志上传至目标服务器。由于电子设备对于不同类型的待上传日志,均可以根据待上传日志中包含的服务器类型以及预设的服务器类型与存储空间的对应关系,确定用于存储待上传日志的目标存储空间以及将待上传日志上传至对应的目标服务器,所以只需要一套日志上传系统即可实现不同类型待上传日志的上传,不需要为每一类型的待上传日志都专门写一套日志上传系统,可以减少日志上传系统的代码量。并且后续拓展其他类型的待上传日志时,也只需要在上述对应关系中增加该类型待上传日志所要上传的服务器类型与存储空间的对应关系,即可实现该类型待上传日志的存储和上传,无需开发新的日志上传系统,便于扩展其他类型的待上传日志的存储和上传。
作为本发明实施例的一种实施方式,上述存储空间确定模块1220,可以具体用于:
将所述待上传日志发送至各个存储空间对应的管理器,以使所述各个存储空间对应的管理器根据所述待上传日志携带的服务器类型以及预设的服务器类型与存储空间的对应关系,确定对应的存储空间是否用于存储所述待上传日志,如果是,将对应的存储空间确定为目标存储空间。
作为本发明实施例的一种实施方式,上述装置,还可以包括:
第一存储空间判断模块,用于按照第一预设时间间隔,判断所述存储空间中的数据量是否大于第一预设阈值;
第一数据删除模块,用于在所述第一存储空间判断模块的判断结果为是时,采用预设的该存储空间对应的删除方式对该存储空间中的数据进行删除;
第二存储空间判断模块,用于判断删除后的该存储空间中的数据量是否大于所述第一预设阈值;
第二数据删除模块,用于在所述第二存储空间判断模块的判断结果为是时,按照存储时间删除该存储空间中的数据,以使该存储空间中的数据量不大于所述第一预设阈值。
作为本发明实施例的一种实施方式,上述装置,还可以包括:
第三存储空间判断模块,用于按照第二预设时间间隔,判断所述目标存储空间中的数据量是否达到第二预设阈值;
上传触发模块,用于在判断结果为是时,确定满足日志上传条件。
作为本发明实施例的一种实施方式,上述装置,还可以包括:
上传判断模块,用于判断所述待上传日志是否上传成功;
日志删除模块,用于在判断结果为是时,从所述目标存储空间删除所述待上传日志;
日志处理方式确定模块,用于在判断结果为否时,根据所述服务器类型以及预设的服务器类型与日志处理方式的对应关系,确定所述服务器类型对应的目标日志处理方式,其中,所述日志处理方式包括删除日志和重传日志;
日志处理模块,用于根据所述目标日志处理方式对所述待上传日志进行处理。
作为本发明实施例的一种实施方式,上述日志获取模块1210,可以包括:
原始日志获取单元,用于获取各个预设埋点产生的原始日志;
日志格式转换单元,用于根据预设的数据处理方式,将所述原始日志转换为目标格式的待上传日志。
作为本发明实施例的一种实施方式,上述装置还可以包括:
回调接口确定模块,用于根据所述服务器类型以及预设的服务器类型与回调接口的对应关系,确定所述服务器类型对应的目标回调接口;
日志格式转换模块,用于调用所述回调接口将所述待上传日志由目标格式转换为所述服务器类型对应的日志格式。
作为本发明实施例的一种实施方式,上述存储空间可以至少包括:硬盘、内存和数据库。
本发明实施例还提供了一种电子设备,如图13所示,包括处理器1301、通信接口1302、存储器1303和通信总线1304,其中,处理器1301,通信接口1302,存储器1303通过通信总线1304完成相互间的通信,
存储器1303,用于存放计算机程序;
处理器1301,用于执行存储器1303上所存放的程序时,实现如下步骤:
可见,本发明实施例提供的方案中,电子设备可以获取待上传日志,其中,待上传日志携带所要上传的服务器类型;根据服务器类型以及预设的服务器类型与存储空间的对应关系,确定服务器类型对应的目标存储空间;将待上传日志存储至目标存储空间;当满足日志上传条件时,从目标存储空间读取待上传日志,并根据待上传日志对应的服务器类型,将待上传日志上传至目标服务器。由于电子设备对于不同类型的待上传日志,均可以根据待上传日志中包含的服务器类型以及预设的服务器类型与存储空间的对应关系,确定用于存储待上传日志的目标存储空间以及将待上传日志上传至对应的目标服务器,所以只需要一套日志上传系统即可实现不同类型待上传日志的上传,不需要为每一类型的待上传日志都专门写一套日志上传系统,可以减少日志上传系统的代码量。并且后续拓展其他类型的待上传日志时,也只需要在上述对应关系中增加该类型待上传日志所要上传的服务器类型与存储空间的对应关系,即可实现该类型待上传日志的存储和上传,无需开发新的日志上传系统,便于扩展其他类型的待上传日志的存储和上传。
上述终端提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect,简称PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture,简称EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述终端与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory,简称RAM),也可以包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,简称CPU)、网络处理器(Network Processor,简称NP)等;还可以是数字信号处理器(Digital Signal Processor,简称DSP)、专用集成电路(Application SpecificIntegrated Circuit,简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array,简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本发明提供的又一实施例中,还提供了一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述实施例中任一所述的日志上传方法。
在本发明提供的又一实施例中,还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述实施例中任一所述的日志上传方法。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置、电子设备、计算机可读存储介质以及计算机程序产品实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。

Claims (18)

1.一种日志上传方法,其特征在于,所述方法包括:
获取待上传日志,其中,所述待上传日志携带所要上传的服务器类型;
根据所述服务器类型以及预设的服务器类型与存储空间的对应关系,确定所述服务器类型对应的目标存储空间;
将所述待上传日志存储至所述目标存储空间;
当满足日志上传条件时,从所述目标存储空间读取所述待上传日志,并根据所述待上传日志对应的服务器类型,将所述待上传日志上传至目标服务器。
2.根据权利要求1所述的方法,其特征在于,所述根据所述服务器类型以及预设的服务器类型与存储空间的对应关系,确定所述服务器类型对应的目标存储空间的步骤,包括:
将所述待上传日志发送至各个存储空间对应的管理器,以使所述各个存储空间对应的管理器根据所述待上传日志携带的服务器类型以及预设的服务器类型与存储空间的对应关系,确定对应的存储空间是否用于存储所述待上传日志,如果是,将对应的存储空间确定为目标存储空间。
3.根据权利要求2所述的方法,其特征在于,所述方法还包括:
按照第一预设时间间隔,判断所述存储空间中的数据量是否大于第一预设阈值;
如果是,则采用预设的该存储空间对应的删除方式对该存储空间中的数据进行删除;
判断删除后的该存储空间中的数据量是否大于所述第一预设阈值;
如果是,则按照存储时间删除该存储空间中的数据,以使该存储空间中的数据量不大于所述第一预设阈值。
4.根据权利要求1所述的方法,其特征在于,在所述从所述目标存储空间读取所述待上传日志,并根据所述待上传日志对应的服务器类型的步骤之前,所述方法还包括:
按照第二预设时间间隔,判断所述目标存储空间中的数据量是否达到第二预设阈值;
如果达到,则确定满足日志上传条件。
5.根据权利要求1所述的方法,其特征在于,在所述将所述待上传日志上传至目标服务器的步骤之后,所述方法还包括:
判断所述待上传日志是否上传成功;
如果上传成功,则从所述目标存储空间删除所述待上传日志;
如果上传失败,则根据所述服务器类型以及预设的服务器类型与日志处理方式的对应关系,确定所述服务器类型对应的目标日志处理方式,其中,所述日志处理方式包括删除日志和重传日志;
根据所述目标日志处理方式对所述待上传日志进行处理。
6.根据权利要求1-5任一项所述的方法,其特征在于,所述获取待上传日志的步骤,包括:
获取各个预设埋点产生的原始日志;
根据预设的数据处理方式,将所述原始日志转换为目标格式的待上传日志。
7.根据权利要求6所述的方法,其特征在于,在所述根据所述待上传日志对应的服务器类型,将所述待上传日志上传至目标服务器的步骤之前,所述方法还包括:
根据所述服务器类型以及预设的服务器类型与回调接口的对应关系,确定所述服务器类型对应的目标回调接口;
调用所述回调接口将所述待上传日志由目标格式转换为所述服务器类型对应的日志格式。
8.根据权利要求1-5任一项所述的方法,其特征在于,所述存储空间至少包括:硬盘、内存和数据库。
9.一种日志上传装置,其特征在于,所述装置包括:
日志获取模块,用于获取待上传日志,其中,所述待上传日志携带所要上传的服务器类型;
存储空间确定模块,用于根据所述服务器类型以及预设的服务器类型与存储空间的对应关系,确定所述服务器类型对应的目标存储空间;
日志存储模块,用于将所述待上传日志存储至所述目标存储空间;
日志上传模块,用于当满足日志上传条件时,从所述目标存储空间读取所述待上传日志,并根据所述待上传日志对应的服务器类型,将所述待上传日志上传至目标服务器。
10.根据权利要求9所述的装置,其特征在于,所述存储空间确定模块,具体用于:
将所述待上传日志发送至各个存储空间对应的管理器,以使所述各个存储空间对应的管理器根据所述待上传日志携带的服务器类型以及预设的服务器类型与存储空间的对应关系,确定对应的存储空间是否用于存储所述待上传日志,如果是,将对应的存储空间确定为目标存储空间。
11.根据权利要求10所述的装置,其特征在于,所述装置,还包括:
第一存储空间判断模块,用于按照第一预设时间间隔,判断所述存储空间中的数据量是否大于第一预设阈值;
第一数据删除模块,用于在所述第一存储空间判断模块的判断结果为是时,采用预设的该存储空间对应的删除方式对该存储空间中的数据进行删除;
第二存储空间判断模块,用于判断删除后的该存储空间中的数据量是否大于所述第一预设阈值;
第二数据删除模块,用于在所述第二存储空间判断模块的判断结果为是时,按照存储时间删除该存储空间中的数据,以使该存储空间中的数据量不大于所述第一预设阈值。
12.根据权利要求9所述的装置,其特征在于,所述装置,还包括:
第三存储空间判断模块,用于按照第二预设时间间隔,判断所述目标存储空间中的数据量是否达到第二预设阈值;
上传触发模块,用于在判断结果为是时,确定满足日志上传条件。
13.根据权利要求9所述的装置,其特征在于,所述装置,还包括:
上传判断模块,用于判断所述待上传日志是否上传成功;
日志删除模块,用于在判断结果为是时,从所述目标存储空间删除所述待上传日志;
日志处理方式确定模块,用于在判断结果为否时,根据所述服务器类型以及预设的服务器类型与日志处理方式的对应关系,确定所述服务器类型对应的目标日志处理方式,其中,所述日志处理方式包括删除日志和重传日志;
日志处理模块,用于根据所述目标日志处理方式对所述待上传日志进行处理。
14.根据权利要求9-13任一项所述的装置,其特征在于,所述日志获取模块,包括:
原始日志获取单元,用于获取各个预设埋点产生的原始日志;
日志格式转换单元,用于根据预设的数据处理方式,将所述原始日志转换为目标格式的待上传日志。
15.根据权利要求14所述的装置,其特征在于,所述装置还包括:
回调接口确定模块,用于根据所述服务器类型以及预设的服务器类型与回调接口的对应关系,确定所述服务器类型对应的目标回调接口;
日志格式转换模块,用于调用所述回调接口将所述待上传日志由目标格式转换为所述服务器类型对应的日志格式。
16.根据权利要求9-13任一项所述的装置,其特征在于,所述存储空间至少包括:硬盘、内存和数据库。
17.一种电子设备,其特征在于,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现权利要求1-8任一所述的方法步骤。
18.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1-8任一所述的方法步骤。
CN202210897082.9A 2022-07-28 2022-07-28 一种日志上传方法、装置、电子设备及存储介质 Pending CN115292268A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210897082.9A CN115292268A (zh) 2022-07-28 2022-07-28 一种日志上传方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210897082.9A CN115292268A (zh) 2022-07-28 2022-07-28 一种日志上传方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN115292268A true CN115292268A (zh) 2022-11-04

Family

ID=83823365

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210897082.9A Pending CN115292268A (zh) 2022-07-28 2022-07-28 一种日志上传方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN115292268A (zh)

Similar Documents

Publication Publication Date Title
CN102567180B (zh) 用于分布式处理系统中的相关警报传送的方法和系统
CN111381987A (zh) 一种消息处理方法、装置、电子设备及介质
CN111555963B (zh) 消息推送方法、装置、电子设备及存储介质
EP1259030A2 (en) System and method for predicting network performance
WO2019051948A1 (zh) 监控数据的处理方法、设备、服务器及存储介质
CN108347476B (zh) 跨机房数据同步方法、装置以及服务器
CN105430534B (zh) 一种智能设备上报数据的方法和系统
CN106713392B (zh) 数据同步方法、装置和系统
CN110727560A (zh) 云服务报警方法及装置
CN108540533B (zh) 一种应答请求的方法和装置
CN111046310A (zh) 页面处理方法、装置、服务器及计算机可读存储介质
CN107644075B (zh) 收集页面信息的方法和装置
CN110008050B (zh) 用于处理信息的方法和装置
CN108108126B (zh) 一种数据处理方法、装置及设备
CN103716230A (zh) 消息发送方法、装置及服务器
CN106549795B (zh) 用于监视多个分布式设备的系统
CN110347546B (zh) 监控任务动态调整方法、装置、介质及电子设备
CN112653736B (zh) 一种并行回源方法、装置及电子设备
US10432490B2 (en) Monitoring single content page application transitions
CN110534136B (zh) 录音的方法和装置
CN112363980B (zh) 一种分布式系统的数据处理方法及装置
CN115292268A (zh) 一种日志上传方法、装置、电子设备及存储介质
CN113746924B (zh) 一种电网业务数据跨区传输方法及装置
US20170223136A1 (en) Any Web Page Reporting and Capture
CN109271238A (zh) 支持多种编程语言的任务调度装置和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination