[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN106817262A - 一种日志分析装置 - Google Patents

一种日志分析装置 Download PDF

Info

Publication number
CN106817262A
CN106817262A CN201710117244.1A CN201710117244A CN106817262A CN 106817262 A CN106817262 A CN 106817262A CN 201710117244 A CN201710117244 A CN 201710117244A CN 106817262 A CN106817262 A CN 106817262A
Authority
CN
China
Prior art keywords
module
data
analysis
log information
log
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710117244.1A
Other languages
English (en)
Inventor
赵闪闪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhengzhou Yunhai Information Technology Co Ltd
Original Assignee
Zhengzhou Yunhai Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhengzhou Yunhai Information Technology Co Ltd filed Critical Zhengzhou Yunhai Information Technology Co Ltd
Priority to CN201710117244.1A priority Critical patent/CN106817262A/zh
Publication of CN106817262A publication Critical patent/CN106817262A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/069—Management of faults, events, alarms or notifications using logs of notifications; Post-processing of notifications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/22—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks comprising specially adapted graphical user interfaces [GUI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/16—Threshold monitoring

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明公开一种日志分析装置，包括：数据收集模块：从管理平台的各节点收集相关的日志信息，对日志信息进行数据过滤，并把不同类型的日志信息统一格式后发送至数据存储模块和数据分析模块；数据存储模块：实时保存数据收集模块发送来的日志信息；数据分析模块：通过分析器将数据收集模块发送来的日志信息进行分析处理，并将分析处理结果发送至可视化模块；可视化模块：通过人机交互界面呈现数据分析模块的分析处理结果。本发明更好地适应多节点环境，解决了各种类型数据存储困难及读取效率不高的问题，还能通过显示界面有效提升用户体验。

Description

一种日志分析装置
技术领域
本发明涉及云计算日志分析系统。
背景技术
随着计算机网络、分布式技术等的发展，云计算技术的使用越来越广泛。云计算环境下，通过日志来记录系统中各节点所发生的事件以及运行状态，根据日志对系统进行运维管理和调试。这种方式只适用于节点数目比较少的系统，对于大规模的集群节点，这种方法并不太适用。
发明内容
为解决上述问题，本发明提供一种能够更好地适应多节点环境的日志分析装置。
本发明的技术方案是：一种日志分析装置，包括：
数据收集模块：从管理平台的各节点收集相关的日志信息，对日志信息进行数据过滤，并把不同类型的日志信息统一格式后发送至数据存储模块和数据分析模块；
数据存储模块：实时保存数据收集模块发送来的日志信息；
数据分析模块：通过分析器将数据收集模块发送来的日志信息进行分析处理，并将分析处理结果发送至可视化模块；
可视化模块：通过人机交互界面呈现数据分析模块的分析处理结果。
进一步地，数据存储模块包括用于查找的索引单元。
进一步地，可视化模块将分析处理结果以图表形式显示。
进一步地，还包括消息队列模块和数据分析监测模块；
所述数据收集模块将日志信息发送至消息队列模块；
所述数据分析监测模块监测数据分析模块的处理压力，当数据分析监测模块监测到数据分析模块处理压力低于预设阈值时，消息队列模块将数据收集模块发送来的日志信息发送至数据分析模块；当数据分析监测模块监测到数据分析模块处理压力超过预设阈值时，数据收集模块发送来的日志信息在消息队列模块缓存。
进一步地，还包括数据库；所述数据分析模块将分析处理结果存储至数据库。
本发明提供的日志分析装置，更好地适应多节点环境，解决了各种类型数据存储困难及读取效率不高的问题，还能通过显示界面有效提升用户体验。
附图说明
图1是本发明具体实施例结构示意图。
具体实施方式
下面结合附图并通过具体实施例对本发明进行详细阐述，以下实施例是对本发明的解释，而本发明并不局限于以下实施方式。
如图1所示，本发明提供的日志分析装置，包括：
数据收集模块1：从管理平台的各节点收集相关的日志信息，对日志信息进行数据过滤，并把不同类型的日志信息统一格式后发送至数据存储模块2和数据分析模块5。
数据存储模块2：实时保存数据收集模块1发送来的日志信息。
数据分析模块5：通过分析器将数据收集模块1发送来的日志信息进行分析处理，并将分析处理结果发送至可视化模块6；为了提高系统可扩展性，实施人员可根据提供的接口实现分析器的自定义，满足实际需求。
可视化模块6：通过人机交互界面呈现数据分析模块5的分析处理结果。且可视化模块6将分析处理结构以图表形式显示，用户体验直观。
本实施例中，数据存储模块2还设置有索引单元，方便用户查找所需信息。
本分析装置还包括消息队列模块3和数据分析监测模块4。数据收集模块1将日志信息发送至消息队列模块3，数据分析监测模块4监测数据分析模块5的处理压力，当数据分析监测模块4监测到数据分析模块5处理压力低于预设阈值时，消息队列模块3将数据收集模块1发送来的日志信息发送至数据分析模块5；当数据分析监测模块4监测到数据分析模块5处理压力超过预设阈值时，数据收集模块1发送来的日志信息在消息队列模块3缓存。
本分析装置中，数据分析模块5将分析处理结果存储至数据库7，便于持久保存。
以上公开的仅为本发明的优选实施方式，但本发明并非局限于此，任何本领域的技术人员能思之的没有创造性的变化，以及在不脱离本发明原理前提下所作的若干改进和润饰，都应落在本发明的保护范围内。

Claims (5)

1.一种日志分析装置，其特征在于，包括：
数据收集模块：从管理平台的各节点收集相关的日志信息，对日志信息进行数据过滤，并把不同类型的日志信息统一格式后发送至数据存储模块和数据分析模块；
数据存储模块：实时保存数据收集模块发送来的日志信息；
数据分析模块：通过分析器将数据收集模块发送来的日志信息进行分析处理，并将分析处理结果发送至可视化模块；
可视化模块：通过人机交互界面呈现数据分析模块的分析处理结果。
2.根据权利要求1所述的日志分析装置，其特征在于，数据存储模块包括用于查找的索引单元。
3.根据权利要求1所述的日志分析装置，其特征在于，可视化模块将分析处理结果以图表形式显示。
4.根据权利要求1所述的日志分析装置，其特征在于，还包括消息队列模块和数据分析监测模块；
所述数据收集模块将日志信息发送至消息队列模块；
所述数据分析监测模块监测数据分析模块的处理压力，当数据分析监测模块监测到数据分析模块处理压力低于预设阈值时，消息队列模块将数据收集模块发送来的日志信息发送至数据分析模块；当数据分析监测模块监测到数据分析模块处理压力超过预设阈值时，数据收集模块发送来的日志信息在消息队列模块缓存。
5.根据权利要求1或4所述的日志分析装置，其特征在于，还包括数据库；所述数据分析模块将分析处理结果存储至数据库。
CN201710117244.1A 2017-03-01 2017-03-01 一种日志分析装置 Pending CN106817262A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710117244.1A CN106817262A (zh) 2017-03-01 2017-03-01 一种日志分析装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710117244.1A CN106817262A (zh) 2017-03-01 2017-03-01 一种日志分析装置

Publications (1)

Publication Number Publication Date
CN106817262A true CN106817262A (zh) 2017-06-09

Family

ID=59114476

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710117244.1A Pending CN106817262A (zh) 2017-03-01 2017-03-01 一种日志分析装置

Country Status (1)

Country Link
CN (1) CN106817262A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107948280A (zh) * 2017-11-24 2018-04-20 无锡南理工新能源电动车科技发展有限公司 一种结合探点和镜像分光流量的监控系统
CN109308329A (zh) * 2018-09-27 2019-02-05 深圳供电局有限公司 一种基于云平台的日志收集方法和装置
CN110780867A (zh) * 2019-10-09 2020-02-11 北京网聘咨询有限公司 面向开发工具的图形化日志呈现方法
CN111177360A (zh) * 2019-12-16 2020-05-19 中国电子科技网络信息安全有限公司 一种基于云上用户日志的自适应过滤方法及装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103412893A (zh) * 2013-07-24 2013-11-27 广东电子工业研究院有限公司 一种日志收集系统及其收集方法
CN104104734A (zh) * 2014-08-04 2014-10-15 浪潮(北京)电子信息产业有限公司 日志分析方法和装置
CN105224445A (zh) * 2015-10-28 2016-01-06 北京汇商融通信息技术有限公司 分布式跟踪系统
CN105471635A (zh) * 2015-11-18 2016-04-06 中国建设银行股份有限公司 一种系统日志的处理方法、装置和系统
CN105634834A (zh) * 2014-10-27 2016-06-01 青岛金讯网络工程有限公司 一种数据监控系统和方法
CN105630869A (zh) * 2015-12-15 2016-06-01 北京奇虎科技有限公司 一种语音数据的存储方法和装置
CN106294091A (zh) * 2016-08-11 2017-01-04 福建富士通信息软件有限公司 一种无侵入式日志拦截性能分析方法及系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103412893A (zh) * 2013-07-24 2013-11-27 广东电子工业研究院有限公司 一种日志收集系统及其收集方法
CN104104734A (zh) * 2014-08-04 2014-10-15 浪潮(北京)电子信息产业有限公司 日志分析方法和装置
CN105634834A (zh) * 2014-10-27 2016-06-01 青岛金讯网络工程有限公司 一种数据监控系统和方法
CN105224445A (zh) * 2015-10-28 2016-01-06 北京汇商融通信息技术有限公司 分布式跟踪系统
CN105471635A (zh) * 2015-11-18 2016-04-06 中国建设银行股份有限公司 一种系统日志的处理方法、装置和系统
CN105630869A (zh) * 2015-12-15 2016-06-01 北京奇虎科技有限公司 一种语音数据的存储方法和装置
CN106294091A (zh) * 2016-08-11 2017-01-04 福建富士通信息软件有限公司 一种无侵入式日志拦截性能分析方法及系统

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107948280A (zh) * 2017-11-24 2018-04-20 无锡南理工新能源电动车科技发展有限公司 一种结合探点和镜像分光流量的监控系统
CN109308329A (zh) * 2018-09-27 2019-02-05 深圳供电局有限公司 一种基于云平台的日志收集方法和装置
CN110780867A (zh) * 2019-10-09 2020-02-11 北京网聘咨询有限公司 面向开发工具的图形化日志呈现方法
CN111177360A (zh) * 2019-12-16 2020-05-19 中国电子科技网络信息安全有限公司 一种基于云上用户日志的自适应过滤方法及装置
CN111177360B (zh) * 2019-12-16 2022-04-22 中国电子科技网络信息安全有限公司 一种基于云上用户日志的自适应过滤方法及装置

Similar Documents

Publication Publication Date Title
CN106371975B (zh) 一种运维自动化预警方法和系统
CN106817262A (zh) 一种日志分析装置
CN109543067A (zh) 基于人工智能的企业生产状况实时监控分析系统
CN106817253A (zh) 日志文件的实时监控及报警的方法和系统
CN107480027A (zh) 一种分布式深度学习运维系统
CN115237857A (zh) 日志处理方法、装置、计算机设备及存储介质
CN107391606A (zh) 基于Storm的日志处理方法及装置
CN110414229A (zh) 操作命令检测方法、装置、计算机设备及存储介质
CN109800133A (zh) 一种统一监控告警的方法、一站式监控告警平台及系统
CN104391990A (zh) 一种基于垂直行业的多任务式采集与收割方法
CN110851317A (zh) 一种预测存储设备iops性能数据的方法、装置、设备及存储介质
CN110677271A (zh) 基于elk的大数据告警方法、装置、设备及存储介质
CN110647762A (zh) 一种基于云桌面的政务督办平台
CN208046653U (zh) 一种电力监控系统网络安全监测主站平台系统
CN103780660A (zh) 一种gpu集群监控系统及监控报警发布方法
CN108334550A (zh) 一种基于人力资源管理系统的数据处理系统
CN206149326U (zh) 一种数据采集分析监控系统
CN109446167A (zh) 一种日志数据存储、提取方法及装置
CN107766497A (zh) 基于容器的数据收集的方法及终端
CN107665260A (zh) 一种基于linux系统的日志收集工具
CN107682201A (zh) 环卫平台运维监控系统
CN107729218A (zh) 一种监控处理计算资源设备的系统及方法
CN114598731B (zh) 集群日志采集方法、装置、设备及存储介质
CN105072161A (zh) 一种基于云计算的应用程序管理系统
CN105446707A (zh) 一种数据转换方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170609