[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN110928750B - 数据处理方法、装置及设备 - Google Patents

数据处理方法、装置及设备 Download PDF

Info

Publication number
CN110928750B
CN110928750B CN201811095539.4A CN201811095539A CN110928750B CN 110928750 B CN110928750 B CN 110928750B CN 201811095539 A CN201811095539 A CN 201811095539A CN 110928750 B CN110928750 B CN 110928750B
Authority
CN
China
Prior art keywords
computing node
performance
target application
application program
function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811095539.4A
Other languages
English (en)
Other versions
CN110928750A (zh
Inventor
孙相征
何万青
贺荣徽
李临川
田永军
余洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201811095539.4A priority Critical patent/CN110928750B/zh
Publication of CN110928750A publication Critical patent/CN110928750A/zh
Application granted granted Critical
Publication of CN110928750B publication Critical patent/CN110928750B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/34Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3466Performance evaluation by tracing or monitoring
    • G06F11/3476Data logging
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本申请实施例提供一种数据处理方法、装置及设备,所述方法包括:在同一采集时间,采集集群中运行目标应用程序的每个计算节点的系统性能指标数据,以及所述目标应用程序在每个计算节点运行产生的应用性能指标数据;基于所述运行目标应用程序的每个计算节点的系统性能指标数据,确定每个计算节点的系统性能;基于所述目标应用程序在每个计算节点运行产生的应用性能指标数据,确定所述目标应用程序对应每个计算节点的应用性能;综合处理所述目标应用程序在每个计算节点的应用性能以及每个计算节点的系统性能。本申请实施例提高了节点分析的全面性。

Description

数据处理方法、装置及设备
技术领域
本申请实施例涉及计算机应用技术领域,尤其涉及一种数据处理方法、装置及设备。
背景技术
应用程序可以在计算节点上工作,该计算节点可以指集群中的各个计算设备,所谓集群可以指使用很多计算节点构成的计算系统和环境,以提供大规模、高速度的运算或者处理服务。为了获得计算节点的使用情况,通常需要对计算节点进行监控。
现有技术中,可以在计算节点上安装监控工具,该监控工具中定义了针对各个监控指标,以采集计算节点的CPU(Central Processing Unit,中央处理器)占用率、带宽占用率和/或内存占用等,以获得计算节点的使用性能。
采用以上方式监控时,只能针对集群中的每一个计算节点进行监控,只能获得单一计算节点的监控指标的监控数据构成的监控信息,获得的监控信息较为单一,不够精确。
发明内容
本申请实施例提供一种数据处理方法、装置及设备,用以解决现有技术中获得的监控信息较为单一,不够精确的技术问题。
第一方面,本申请实施例中提供了一种数据处理方法,包括:
在同一采集时间,采集集群中运行目标应用程序的每个计算节点的系统性能指标数据,以及所述目标应用程序在每个计算节点运行产生的应用性能指标数据;
基于所述运行目标应用程序的每个计算节点的系统性能指标数据,确定每个计算节点的系统性能;
基于所述目标应用程序在每个计算节点运行产生的应用性能指标数据,确定所述目标应用程序对应每个计算节点的应用性能;
综合处理所述目标应用程序在每个计算节点的应用性能以及每个计算节点的系统性能。
第二方面,提供一种数据处理装置,包括:
数据采集模块,用于在同一采集时间,采集集群中运行目标应用程序的每个计算节点的系统性能指标数据,以及所述目标应用程序在每个计算节点运行产生的应用性能指标数据;
第一确定模块,用于基于所述运行目标应用程序的每个计算节点的系统性能指标数据,确定每个计算节点的系统性能;
第二确定模块,用于基于所述目标应用程序在每个计算节点运行产生的应用性能指标数据,确定所述目标应用程序对应每个计算节点的应用性能;
综合处理模块,用于综合处理所述目标应用程序在每个计算节点的应用性能以及每个计算节点的系统性能。
第三方面,提供一种数据处理设备,包括:存储组件以及处理组件;所述存储组件用于存储一条或多条计算机指令,所述一条或多条计算机指令用于被所述处理组件调用并执行;
所述处理组件用于:
在同一采集时间,采集集群中运行目标应用程序的每个计算节点的系统性能指标数据,以及所述目标应用程序在每个计算节点运行产生的应用性能指标数据;基于所述运行目标应用程序的每个计算节点的系统性能指标数据,确定每个计算节点的系统性能;基于所述目标应用程序在每个计算节点运行产生的应用性能指标数据,确定所述目标应用程序对应每个计算节点的应用性能;综合处理所述目标应用程序在每个计算节点的应用性能以及每个计算节点的系统性能。
本申请实施例中,通过在同一采集时间,采集集群中运行目标应用程序的每个计算节点的系统性能指标,以及目标应用程序在每个计算节点运行产生的应用性能指标数据,也即在同一采集时间,同时采集计算节点的系统性能指标的数据以及目标应用程序的应用性能指标的数据,继而可以针对采集的系统性能指标数据进行分析,获得每个计算节点的系统性能指标,针对采集的应用性能指标数据进行分析,获得目标应用程序对应每个计算节点的应用性能。同时获得应用程序的应用性能以及计算节点的节点性能等两个不同层指标层级的性能,进而可以针对应用性能以及系统性能进行综合处理,实现统一采集、分析、汇总等全面性的分析处理,完成内容更加全面的综合分析,提高了分析的准确度以及有效性。
本申请的这些方面或其他方面在以下实施例的描述中会更加简明易懂。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出了本申请提供的一种数据处理方法的一个实施例的流程图;
图2示出了本申请提供的一种数据处理方法的又一个实施例的流程图;
图3示出了本申请提供的一种集群性能展示的示例图;
图4示出了本申请提供的一种综合性能展示的示例图;
图5示出了本申请提供的一种节点性能展示的示例图;
图6示出了本申请提供的一种进程性能展示的示例图;
图7示出了本申请提供的一种函数性能展示的示例图;
图8示出了本申请提供的一种数据处理装置的一个实施例的结构示意图;
图9示出了本申请提供的一种数据处理设备的一个实施例的结构示意图;
图10示出了本申请提供的一种数据处理系统的一个实施例的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。
在本申请的说明书和权利要求书及上述附图中的描述的一些流程中,包含了按照特定顺序出现的多个操作,但是应该清楚了解,这些操作可以不按照其在本文中出现的顺序来执行或并行执行,操作的序号如101、102等,仅仅是用于区分开各个不同的操作,序号本身不代表任何的执行顺序。另外,这些流程可以包括更多或更少的操作,并且这些操作可以按顺序执行或并行执行。需要说明的是,本文中的“第一”、“第二”等描述,是用于区分不同的消息、设备、模块等,不代表先后顺序,也不限定“第一”和“第二”是不同的类型。
本申请实施例的技术方案可以应用于集群、节点等设备的性能剖析场景中,通过对不同层级的指标进行数据采集,以实现更全面更系统的性能分析。
现有技术中,可以针对单一节点进行分析,通常可以采用在计算节点中配置采集工具的方式,以通过在采集工具上输入、选择等方式设置监控指标,并将监控指标采集到的数据展示给用户。对单一节点的性能指标的监控通常存在监控片面性的问题。通常,采集工具通常只能针对应用程序运行过程中的某些设定的特定监控指标进行指标数据的采集,这些指标数据通常是被固定设置的,只能采用该应用程序运行过程中某些特定特征的性能指标,只能反映应用程序运行时的较为固定的性能,这些监控指标未必是影响程序运行性能的关键因素。另外,对单一节点的性能指标的监控还存在监控指标关联性差的问题,通常检测到某些监控指标的指标数据之后,直接将指标的指标数据以数据的形式进行输出,并不能获取指标数据的变化过程,不利于指标的综合性展示。此外,针对单一节点的性能指标的监控还存在缺少详细剖析的问题,通常输出指标数据仅仅是将数据以监控结果的形式进行输出,并不对整个节点、整个程序或者关键函数进行详细分析,用户仅能通过经验确认出现问题的性能指标,缺少指标关联性分析。
据此发明人想到是否可以针对集群中的各个计算节点进行不同层级的数指标采样,以获得不同层级的指标数据,进而进行关联分析,获得多层级级联的分析,提高分析的全面性以及针对性,以帮助用户快速进行异常定位。
本申请实施例中,可以在同一采集时间,采集集群中运行目标应用程序的每个计算节点的系统性能指标数据,以及目标应用程序在每个计算节点运行产生的应用性能的指标数据。实现针对不同层级的性能指标的数据采集,采集的性能指标更全面。进而可以基于所述运行目标应用程序的每个计算节点的系统性能指标数据,确定每个计算节点的系统性能;基于所述目标应用程序在每个计算节点运行产生的应用性能指标数据,确定所述目标应用程序对应每个计算节点的应用性能。通过对不同层级的性能指标的采集可以确定系统性能以及应用性能两种层级的性能,对于系统性能可以获得节点的实际使用性能,对于应用性能可以详细剖析应用层级的监控结果,获得详细的分析结果。之后,综合处理所述目标应用程序在每个计算节点的应用性能以及每个计算节点的系统性能时,可以实现各个性能的关联分析,实现对节点级、应用级等不同级别的详细分析,提高了分析的准确度以及有效性。
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
图1为本发明实施例提供的一种数据处理方式方法的一个实施例的流程图,该方法可以包括以下步骤:
101:在同一采集时间,采集集群中运行目标应用程序的每个计算节点的系统性能指标数据,以及所述目标应用程序在每个计算节点运行产生的应用性能指标数据。
数据处理方法可以应用于集群中的服务器或者任一计算节点等具有计算处理能力的智能设备中。每一个计算节点中可以设置采集工具,通过采集工具可以采集每个计算节点的系统性能指标数据,以及目标应用程序在每个计算节点运行产线的应用性能指标数据。采集工具可以将采集获得的系统性能指标数据以及应用性能指标数据存储至性能特征库中,以便于后续使用以及查阅。
可选地,采集工具采集系统性能指标数据以及应用性能指标数据之后,可以将系统性能指标数据以及应用性能指标数据可以上传至至性能特征库中,由特征库进行保存。智能设备可以通过性能特征库的访问控制接口随时读取性能特征库中的系统性能指标数据以及应用性能指标数据。
为了获得各个系统性能的指标数据连续变化情况,可以在同一采集时间,多次采集集群中运行目标应用程序的每个计算节点的系统性能指标数据,以及所述目标应用程序在每个计算节点运行产生的应用性能指标数据,以获得连续变化的系统性能指标数据以及应用性能指标数据,进行连续性分析,以监控各个性能指标的连续变化情况。其中,该同一采集时间可以指系统性能指标数据以及应用性能指标数据的采集时间相同。
为了获得各个系统性能指标的实时数据,还可以在同一采集时间,实时集群中运行目标应用程序的每个计算节点的系统性能指标数据,以及所述目标应用程序在每个计算节点运行产生的应用性能指标数据,以获得实时变化的系统性能指标数据以及应用性能指标数据,进行实时性分析,以监控各个性能指标的实时变化情况。
其中,为了明确每一个目标应用程序对应的计算节点的系统性能指标数据,可以为所述计算节点设置节点标识,通过节点的节点标识获取该计算节点的系统性能指标数据以及该节点运行的目标应用程序对应的应用性能指标数据进行标识。
可选地,每个计算节点的目标应用程序可以包括多个,也即可以同时获取每一个节点中运行的不同应用程序各自对应的应用性能指标数据,并通过每一个应用程序的应用性能指标数据对该应用程序进行应用性能分析。
102:基于所述运行目标应用程序的每个计算节点的系统性能指标数据,确定每个计算节点的系统性能。
针对每个计算节点的系统性能指标数据,可以确定每个计算节点的系统性能。每个节点的系统性能可以包括从节点的角度,分析目标应用程序运行期间该节点的关键性能指标的变化规律。其中,可以通过对计算节点的系统性能指标数据进行分析,获得目标应用程序运行期间节点的关键性能指标的变化规律。
103:基于所述目标应用程序在每个计算节点运行产生的应用性能指标数据,确定所述目标应用程序对应每个计算节点的应用性能。
针对目标应用程序在每个计算节点运行产生的应用性能指标数据,可以确定目标应用程序对应每个计算节点的应用性能。目标应用程序对应每个计算节点的应用性能可以指目标应用程序在每一个计算节点运行时,实际的运行性能。
104:综合处理所述目标应用程序在每个计算节点的应用性能以及每个计算节点的系统性能。
综合处理目标应用程序在每个计算节点的应用性能以及每个计算节点的系统性能具体可以指建立目标应用程序在每个计算节点的应用性能以及每个计算节点的系统性能的关联关系,具体可以量应用性能以及系统性能等指标建立对应关系。
可选地,综合处理所述目标应用程序在每个计算节点的应用性能以及每个计算节点的系统性能具体还可以是综合展示目标应用程序在每个计算的应用性能以及每个计算节点的系统性能。在实际应用中,可以通过图表等形式综合展示目标应用程序在每个计算的应用性能以及每个计算节点的系统性能。
针对同一采集时间的系统性能指标数据以及应用性能指标数据进行采集,可以避免因采集时间不统一而产生应用程序的运行逻辑不同导致不通指标之间不能关联的情况,以确保采集的系统性能指标数据以及应用性能指标数据可以关联分析,且不产生时间上的分析误差。
本发明实施例中,实现针对不同层级的性能指标的数据采集,采集的性能指标更全面。进而可以基于系统性能指标数据,确定每个计算节点的系统性能;基于应用性能指标数据,确定目标应用程序对应每个计算节点的应用性能。通过对不同层级的性能指标的采集可以确定系统性能以及应用性能的性能,对于系统性能可以获得节点的实际使用性能,对于应用性能可以详细剖析应用层级的监控结果,获得详细的分析结果。之后,综合处理所述目标应用程序在每个计算节点的应用性能以及每个计算节点的系统性能时,可以实现各个性能的关联分析,实现对节点级、应用级等不同级别的详细分析,提高了分析的准确度以及有效性。
如图2所示,为本发明实施例提供的一种数据处理方法的又一个实施例的结构示意图,该方法可以包括以下几个步骤:
201:在同一采集时间,采集集群中运行所述目标应用程序的每个计算节点的系统性能指标数据,以及所述目标应用程序在每个计算节点运行产生的应用性能指标数据。
202:基于运行所述目标应用程序的每个计算节点的系统性能指标数据,确定每个计算节点的系统性能。
203:基于所述目标应用程序在每个计算节点运行产生的应用性能指标数据,确定所述目标应用程序对应每个计算节点的应用性能。
204:汇总运行所述每个计算节点的系统性能,获得所述集群的系统性能。
通过汇总每个计算节点的系统性能,获得集群的系统性能,以从集群的角度获取整个集群的系统资源整体的使用情况。其中,集群的系统性能可以包括集群的系统饱和度,以确保实时监控系统资源使用饱和时出现的使用异常情况。
作为一种可能的实现方式,集群的系统性能主要可以包括系统内存使用率、系统处理器占用率、网络带宽情况和/或系统存储器使用率,可以通过监控系统集群的系统性能,避免产生诸如向已写满的内存再次执行写操作,出现使用异常的情况。
在某些实施例中,还可以针对多个系统集群进行系统分析,以获得不同系统集群的使用情况,进而进行集群间的调度,以提高集群的服务效果。如图3所示,同时展示了两个集群的系统性能,分别为集群301以及集群302,其中每一个集群的系统性能主要由CPU使用率、内存使用率、以及网络总带宽等性能参数数据对应的柱状图表构成。
205:综合处理所述目标应用程序对应每个计算节点的应用性能、每个计算节点的系统性能以及所述集群的系统性能。
本发明实施例中,除采集系统性能指标数据以及应用性能指标数据两种层级的指标数据之后,通过分析获得系统性能以及应用性能。通过汇总每个计算节点的系统性能,获得整个集群的系统性能,进而可以汇总计算节点的系统性能、应用程序在对应计算节点的应用性能以及集群的系统性能,可以实现层级递进式分析,可以获得整个集群的综合系统分析,提高的有效性以及准确度,可以为用户提供更有效地指导。
综合处理不同的性能时,可以针对不同集群、节点以及应用程序之间的关联关系进行性能关联,进而将不同性能指标之间的指标变化进行关联,不同性能指标在运行过程中的相互作用以及变化规律,以解决性能指标关联性差的问题。
因此,作为一个实施例,所述综合处理所述目标应用程序在每个计算节点的应用性能、每个计算节点的系统性能以及所述集群的系统性能可以包括:
根据所述集群、每个计算节点以及目标应用程序的关联关系,建立所述集群的系统性能、所述每个计算节点的系统性能以及所述目标应用程序在每个计算节点的应用性能之间的关联关系。
在某些实施例中,所述根据所述集群、每个计算节点以及目标应用程序的关联关系,建立所述集群的系统性能、所述每个计算节点的系统性能以及所述目标应用程序在每个计算节点的应用性能之间的关联关系之后,还包括:
展示所述集群的系统性能、所述每个计算节点的系统性能以及所述目标应用程序在每个计算节点的应用性能之间的关联关系。
可以将集群的系统性能、每个计算节点的系统性能以及目标应用程序在每个计算节点的应用性能之间的关联关系以曲线图、火焰图、柱状图等不同类型的图表形式进行展示。
集群、每个计算节点以及目标应用程序的关联关系具体可以指,集群中可以由每个计算节点构成,而目标应用程序又在每个计算节点中运行,通过集群,可以查询任一个计算节点;通过任一个计算节点,可以查询任一个目标应用程序。
作为一种可能的展示方式,可以为每一个性能分别在对应界面中进行展示,例如,可以将集群的系统性能在第一界面展示,可以将每个计算节点的系统性能在第二界面展示,可以将目标应用程序在每个计算节点的应用性能的进程性能以及函数性能分析分别对应的第三界面以及第四界面展示。在实际应用中,第一展示界面、第二展示界面以及第三展示界面均可以被集成到同一个主显示界面中,主显示界面中可以显示多个展示框,每一个展示框即可以构成一个展示界面,如图4所示,为本申请实施例提供的一种将多个展示界面集成到一个主显示界面的示例图,该主显示界面可以包括:第一界面401、第二界面402、第三界面403以及第四界面404等。其中,主显示界面中只能显示任一个被选择的界面,图3中被选择的界面为函数性能分析对应的第四界面404。
可选地,可以将一个集群中的每一个计算节点的系统性能均进行展示。在展示时,可以通过将多次采集的系统性能绘制系统性能的变化曲线,可以展示系统性能的连续变化。每一个节点的系统性能具体可以包括:CPU使用率,也即CPU占用率;内存使用率,也即内存占用率;网络总带宽,也即网络带宽。如图5所示,展示了4个计算节点的系统性能图501~系统性能图504。
展示集群的系统性能时,可以将集群的各个性能参数数据以图表形式进行展示;展示计算节点的系统性能时可以将该计算节点的系统性能指标数据统一处理后以图表形式展示;展示目标应用程序的每个计算节点的应用性能可以将目标应用程序在该计算节点实际运行的应用性能指标数据统一处理后以图表形式展示。
为了获得更详细的应用性能指标的指标数据,作为又一个实施例,所述应用性能指标数据可以包括:进程级性能指标数据以及函数级性能指标数据;所述应用性能包括:进程性能以及函数性能;
所述基于所述目标应用程序在每个计算节点运行产生的应用性能指标数据,确定所述目标应用程序对应每个计算节点的应用性能包括:
基于所述目标应用程序在每个计算节点运行产生的进程级性能指标数据,确定所述目标应用程序对应每个计算节点的进程性能;
基于所述目标应用程序在每个计算节点运行产生的函数级性能指标数据,确定所述目标应用程序对应每个计算节点的函数性能。
作为一种可能的设计,进程级性能指标实际可以由多种性能指标构成,以采集到更全面的进程级性能指标数据,所述进程级性能指标数据包括进程标识、进程通信信息和/或进程应用信息。
所述基于所述目标应用程序在每个计算节点运行产生的进程级性能指标数据,确定所述目标应用程序对应每个计算节点的进程性能包括:
基于所述目标应用程序在每个计算节点运行产生的进程通信信息和/或进程应用信息,确定所述进程标识对应进程在每个计算节点的进程性能。
从进程角度出发,可以获取进程通信信息,可以包括进程中运行的应用程序与其他进程运行的应用程序的消息或者数据的传输信息。可以获取进行的应用信息,可以包括进程中运行的应用程序对CPU的利用率、对内存的利用率和/或对网络带宽的利用率。
其中,每一个目标应用程序可以包含至少一个进程,可以分别获取每一个进行的进程性能。
可以针对进程标识对应进程在每个计算节点的进程性能进行展示。在展示时,每一个进程展示的进程性能可以包括CPU占用率、内存占用率、进程ID以及进程名。如图6所示,展示了一个计算节点包含的多个计算机进程,每一个进程均展示了该进程的CPU占用率、内存占用率、进程ID以及进程名等信息,也即进程601~进程605,每一个进程对应一个性能剖析图,进程601~进程605分别对应剖析图中的606~610,通过直观的性能剖析图可以直观地观看到各个进程的运行情况。
作为又一种可能的设计,函数级性能指标实际可以由多种性能指标构成,以采集得到更全面的函数级性能指标数据,所述函数级性能指标数据包括函数名称、函数调用信息和/或函数运行时长;
所述目标应用程序在每个计算节点运行产生的函数级性能指标数据,确定所述目标应用程序对应每个计算节点的函数性能包括:
基于所述目标应用程序在每个计算节点运行产生的函数调用信息和/或函数运行时长,确定所述函数名称对应函数在每个计算节点的函数性能。
从函数角度出发,可以获取函数的调用信息,可以将函数的调用信息直接作为一种函数性能展示给用户,以方便用户获取各个函数的调用信息,例如,在实际应用中,可以展示各个函数的调用栈信息。还可以获取函数的运行时长,可以利用函数的运行时长分析函数的耗时分布,以获取耗时较长的函数,以方便用户查看,并针对耗时较长的函数进行优化。
在实际应用中,可以将函数的函数性能通过图表形式进行展示,例如,图4中的第四界面404即为一个函数的函数运行性能的展示。
可选地,函数性能可以通过两种图表进行展示,一种是TOP-DOWN展示,一种是BOTTOM-UP展示,每一种展示都是通过火焰图的形式进行展示。对于TOP-DOWN而言,可以从第一层开始,每一层的上一层为所述每一层的函数对应的调用函数以及该函数的额主体函数的运行时长,而横向柱状长度则代表每一个函数的运行时长,每一个函数的运行时长中包含了该函数的子函数的运行时长,以方便用户确定处理逻辑和函数的调用关系以及各个函数的总体耗时。对于BOTTOM-UP而言,可以从第一层开始,每一层的上一层均为所述每一层函数对于的调用函数以及该函数的主体函数的运行时长,也即横向柱状长度代表每个函数的运行时长,但是该运行时长中不包含该函数的子函数的运行时间,为每一个函数独立运行的时长,以方便用户获得每个函数实际的运行时长。如图4中所示,即为一种BOTTOM-UP形式展示的函数性能图,其中,火焰图405为函数级的性能剖析结果(不包含子函数的额运行时长),可以获得各个函数的调用信息以及总体运行时长。如图7所示,即为一种TOP-DOWN形式展示的函数性能图,其中,火焰图701为函数级的性能剖析结果(包含子函数的运行时长),可以获得各个函数的调用信息以及独立运行时长。
通过图表等形式展示各个性能,实现了各个性能的可视化处理,直观反映了不同指标在同一图表中的相互关联以及变化规律。
为了针对不同的函数级性能指标进行针对性分析,以获得多样性的函数性能,以获得更详细的分析结果,在某些实施例中,所述基于所述目标应用程序在每个计算节点运行产生的函数调用信息和/或函数运行时长,确定所述函数名称对应函数在每个计算节点的函数性能包括:
基于所述目标应用程序在每个计算节点运行产生的函数调用信息,确定热点调用函数;
根据所述热点调用函数的运行时长,确定所述热点调用函数在每个计算节点的函数调用过程中的调用性能;
和/或,基于所述目标应用程序在每个计算节点运行产生的函数运行时长,确定函数耗时排名;
根据所述函数耗时排名,确定热点运行函数;
获取所述热点运行函数在每个计算节点被调用的栈信息,以确定所述热点调用函数运行时的运行性能。
为了获得详细的系统性能指标的指标数据,作为又一个实施例,所述系统性能指标包括:CPU占用指标、内存利用指标、网络带宽指标和/或CPU微架构指标;
所述基于运行所述目标应用程序的每个计算节点的系统性能指标数据,确定每个计算节点的系统性能包括:
基于运行所述目标应用程序的每个计算节点的CPU占用率、内存利用率、网络带宽和/或CPU微架构数据,综合确定每个计算节点的系统性能。
CPU微架构数据可以包括:浮点运行效率、内存带宽、向量化比例等数据。CPU占用率可以指user(用户),system(系统),idle(开发环境占用),iowait(CPU空闲但未完成的读写请求)等。
如图8所示,为本申请实施例提供的一种数据处理装置的一个实施例的结构示意图,该装置包括:
数据采集模块801:用于在同一采集时间,采集集群中运行目标应用程序的每个计算节点的系统性能指标数据,以及所述目标应用程序在每个计算节点运行产生的应用性能指标数据;
第一确定模块802,用于基于所述运行目标应用程序的每个计算节点的系统性能指标数据,确定每个计算节点的系统性能;
第二确定模块803,用于基于所述目标应用程序在每个计算节点运行产生的应用性能指标数据,确定所述目标应用程序对应每个计算节点的应用性能;
综合处理模块804,用于综合处理所述目标应用程序在每个计算节点的应用性能以及每个计算节点的系统性能。
本发明实施例中,针对不同层级的性能指标的数据采集,采集的性能指标更全面。进而可以基于系统性能指标数据,确定每个计算节点的系统性能;基于应用性能指标数据,确定目标应用程序对应每个计算节点的应用性能。通过对不同层级的性能指标的采集可以确定系统性能以及应用性能的性能,对于系统性能可以获得节点的实际使用性能,对于应用性能可以详细剖析应用层级的监控结果,获得详细的分析结果。之后,综合处理所述目标应用程序在每个计算节点的应用性能以及每个计算节点的系统性能时,可以实现各个性能的关联分析,实现对节点级、应用级等不同级别的详细分析,提高了分析的准确度以及有效性。
作为一个实施例,所示装置还包括:
性能汇总模块,用于汇总所述每个计算节点的系统性能,获得所述集群的系统性能;
所述综合处理模块包括:
综合处理单元,用于综合处理所述目标应用程序在每个计算节点的应用性能、每个计算节点的系统性能以及所述集群的系统性能。
通过汇总每个计算节点的系统性能,获得集群的系统性能,以从集群的角度获取整个集群的系统资源整体的使用情况。其中,集群的系统性能可以包括集群的系统饱和度,以确保实时监控系统资源使用饱和时出现的使用异常情况。
作为一种可能的实现方式,集群的系统性能主要可以包括系统内存使用率、系统处理器占用率、网络带宽情况和/或系统存储器使用率,可以通过监控系统集群的系统性能,避免产生诸如向已写满的内存再次执行写操作,出现使用异常的情况。在某些实施例中,还可以针对多个系统集群进行系统分析,以获得不同系统集群的使用情况,进而进行集群间的调度,以提高集群的服务效果。
本发明实施例中,通过汇总每个计算节点的系统性能,获得整个集群的系统性能,进而可以汇总计算节点的系统性能、应用程序在对应计算节点的应用性能以及集群的系统性能,可以实现层级递进式分析,可以获得整个集群的综合系统分析,提高的有效性以及准确度,可以为用户提供更有效地指导。
综合处理不同的性能时,可以针对不同集群、节点以及应用程序之间的关联关系进行性能关联,进而将不同性能指标之间的指标变化进行关联,不同性能指标在运行过程中的相互作用以及变化规律,以解决性能指标关联性差的问题。
因此,作为一个实施例,所述综合处理单元包括:
关联子单元,用于根据所述集群、每个计算节点以及目标应用程序的关联关系,建立所述集群的系统性能、所述每个计算节点的系统性能以及所述目标应用程序在每个计算节点的应用性能之间的关联关系。
所述综合处理单元还包括:
展示子单元,用于展示所述集群的系统性能、所述每个计算节点的系统性能以及所述目标应用程序在每个计算节点的应用性能之间的关联关系。
可以将集群的系统性能、每个计算节点的系统性能以及目标应用程序在每个计算节点的应用性能之间的关联关系以曲线图、火焰图、柱状图等不同类型的图表形式进行展示。
集群、每个计算节点以及目标应用程序的关联关系具体可以指,集群中可以由每个计算节点构成,而目标应用程序又在每个计算节点中运行,通过集群,可以查询任一个计算节点;通过任一个计算节点,可以查询任一个目标应用程序。
展示集群的系统性能时,可以将集群的各个性能参数数据以图表形式进行展示;展示计算节点的系统性能时可以将该计算节点的系统性能指标数据统一处理后以图表形式展示;展示目标应用程序的每个计算节点的应用性能可以将目标应用程序在该计算节点实际运行的应用性能指标数据统一处理后以图表形式展示。
为了获得更详细的应用性能指标的指标数据,作为又一个实施例,所述应用性能指标数据包括:进程级性能指标数据以及函数级性能指标数据;所述应用性能包括:进程性能以及函数性能;
所述第二确定模块包括:
第一确定单元,用于基于所述目标应用程序在每个计算节点运行产生的进程级性能指标数据,确定所述目标应用程序对应每个计算节点的进程性能;
第二确定单元,用于基于所述目标应用程序在每个计算节点运行产生的函数级性能指标数据,确定所述目标应用程序对应每个计算节点的函数性能。
作为一种可能的设计,进程级性能指标实际可以由多种性能指标构成,以采集到更全面的进程级性能指标数据,所述进程级性能指标数据包括进程标识、进程通信信息和/或进程应用信息。
所述进程级性能指标数据包括进程标识、进程通信信息和/或进程应用信息;
所述第一确定单元包括:
第一确定子单元,用于基于所述目标应用程序在每个计算节点运行产生的进程通信信息和/或进程应用信息,确定所述进程标识对应进程在每个计算节点的进程性能。
从进程角度出发,可以获取进程通信信息,可以包括进程中运行的应用程序与其他进程运行的应用程序的消息或者数据的传输信息。可以获取进行的应用信息,可以包括进程中运行的应用程序对CPU的利用率、对内存的利用率和/或对网络带宽的利用率。
其中,每一个目标应用程序可以包含至少一个进程,可以分别获取每一个进行的进程性能。
可以针对进程标识对应进程在每个计算节点的进程性能进行展示。
为了获得更详细的应用性能指标的指标数据,作为又一个实施例,所述函数级性能指标数据包括函数名称、函数调用信息和/或函数运行时长;
所述目第二确定单元包括:
第二确定子单元,用于基于所述目标应用程序在每个计算节点运行产生的函数调用信息和/或函数运行时长,确定所述函数名称对应函数在每个计算节点的函数性能。
从函数角度出发,可以获取函数的调用信息,可以将函数的调用信息直接作为一种函数性能展示给用户,以方便用户获取各个函数的调用信息,例如,在实际应用中,可以展示各个函数的调用栈信息。
可选地,函数性能可以通过两种图表进行展示,一种是TOP-DOWN展示,一种是BOTTOM-UP展示,每一种展示都是通过火焰图的形式进行展示。
为了针对不同的函数级性能指标进行针对性分析,以获得多样性的函数性能,以获得更详细的分析结果,在某些实施例中,所述第二确定子单元,具体用于:
基于所述目标应用程序在每个计算节点运行产生的函数调用信息,确定热点调用函数;
根据所述热点调用函数的运行时长,确定所述热点调用函数在每个计算节点的函数调用过程中的调用性能;
和/或,基于所述目标应用程序在每个计算节点运行产生的函数运行时长,确定函数耗时排名;
根据所述函数耗时排名,确定热点运行函数;
获取所述热点运行函数在每个计算节点被调用的栈信息,以确定所述热点调用函数运行时的运行性能。
为了获得详细的系统性能指标的指标数据,作为又一个实施例,所述系统性能指标包括:CPU占用指标、内存利用指标、网络带宽指标和/或CPU微架构指标;
所述第一确定模块包括:
第三确定单元,用于基于运行所述目标应用程序的每个计算节点的CPU占用率、内存利用率、网络带宽和/或CPU微架构数据,综合确定每个计算节点的系统性能。
上述所述的数据处理装置可以执行上述实施例所述数据处理步骤中的步骤,其执行内容和技术效果不再赘述,对于上述实施例中的数据处理方法其中各个步骤执行的操作的具体方式已经在有关该装置的实施例中进行了详细描述,此处将不做详细阐述说明。
在一种可能的设计中,图8所示的实施例可以实现为一种数据处理设备,如图9所示,所述设备可以包括:存储组件901以及处理组件902;所述存储组件901用于存储一条或多条计算机指令,所述一条或多条计算机指令用于被所述处理组件902调用并执行;
所述处理组件902用于:
在同一采集时间,采集集群中运行目标应用程序的每个计算节点的系统性能指标数据,以及所述目标应用程序在每个计算节点运行产生的应用性能指标数据;基于所述运行目标应用程序的每个计算节点的系统性能指标数据,确定每个计算节点的系统性能;基于所述目标应用程序在每个计算节点运行产生的应用性能指标数据,确定所述目标应用程序对应每个计算节点的应用性能;综合处理所述目标应用程序在每个计算节点的应用性能以及每个计算节点的系统性能。
本发明实施例中,针对不同层级的性能指标的数据采集,采集的性能指标更全面。进而可以基于系统性能指标数据,确定每个计算节点的系统性能;基于应用性能指标数据,确定目标应用程序对应每个计算节点的应用性能。通过对不同层级的性能指标的采集可以确定系统性能以及应用性能的性能,对于系统性能可以获得节点的实际使用性能,对于应用性能可以详细剖析应用层级的监控结果,获得详细的分析结果。之后,综合处理所述目标应用程序在每个计算节点的应用性能以及每个计算节点的系统性能时,可以实现各个性能的关联分析,实现对节点级、应用级等不同级别的详细分析,提高了分析的准确度以及有效性。
所述处理组件还用于:
汇总所述每个计算节点的系统性能,获得所述集群的系统性能;
所述综合处理所述目标应用程序在每个计算节点的应用性能以及每个计算节点的系统性能具体是:
综合处理所述目标应用程序在每个计算节点的应用性能、每个计算节点的系统性能以及所述集群的系统性能。
通过汇总每个计算节点的系统性能,获得集群的系统性能,以从集群的角度获取整个集群的系统资源整体的使用情况。其中,集群的系统性能可以包括集群的系统饱和度,以确保实时监控系统资源使用饱和时出现的使用异常情况。
本发明实施例中,通过汇总每个计算节点的系统性能,获得整个集群的系统性能,进而可以汇总计算节点的系统性能、应用程序在对应计算节点的应用性能以及集群的系统性能,可以实现层级递进式分析,可以获得整个集群的综合系统分析,提高的有效性以及准确度,可以为用户提供更有效地指导。
综合处理不同的性能时,可以针对不同集群、节点以及应用程序之间的关联关系进行性能关联,进而将不同性能指标之间的指标变化进行关联,不同性能指标在运行过程中的相互作用以及变化规律,以解决性能指标关联性差的问题。
因此,作为一个实施例,所述处理组件综合处理所述目标应用程序在每个计算节点的应用性能、每个计算节点的系统性能以及所述集群的系统性能具体是:
根据所述集群、每个计算节点以及目标应用程序的关联关系,建立所述集群的系统性能、所述每个计算节点的系统性能以及所述目标应用程序在每个计算节点的应用性能之间的关联关系。
所述处理组件根据所述集群、每个计算节点以及目标应用程序的关联关系,建立所述集群的系统性能、所述每个计算节点的系统性能以及所述目标应用程序在每个计算节点的应用性能之间的关联关系之后,还包括:
展示所述集群的系统性能、所述每个计算节点的系统性能以及所述目标应用程序在每个计算节点的应用性能之间的关联关系。
可以将集群的系统性能、每个计算节点的系统性能以及目标应用程序在每个计算节点的应用性能之间的关联关系以曲线图、火焰图、柱状图等不同类型的图表形式进行展示。
展示集群的系统性能时,可以将集群的各个性能参数数据以图表形式进行展示;展示计算节点的系统性能时可以将该计算节点的系统性能指标数据统一处理后以图表形式展示;展示目标应用程序的每个计算节点的应用性能可以将目标应用程序在该计算节点实际运行的应用性能指标数据统一处理后以图表形式展示。
为了获得更详细的应用性能指标的指标数据,作为又一个实施例,所述应用性能指标数据包括:进程级性能指标数据以及函数级性能指标数据;所述应用性能包括:进程性能以及函数性能;所述处理组件基于所述目标应用程序在每个计算节点运行产生的应用性能指标数据,确定所述目标应用程序对应每个计算节点的应用性能具体是:
基于所述目标应用程序在每个计算节点运行产生的进程级性能指标数据,确定所述目标应用程序对应每个计算节点的进程性能;
基于所述目标应用程序在每个计算节点运行产生的函数级性能指标数据,确定所述目标应用程序对应每个计算节点的函数性能。
作为一种可能的设计,进程级性能指标实际可以由多种性能指标构成,以采集到更全面的进程级性能指标数据,所述进程级性能指标数据包括进程标识、进程通信信息和/或进程应用信息。
所述进程级性能指标数据包括进程标识、进程通信信息和/或进程应用信息;
所述处理组件基于所述目标应用程序在每个计算节点运行产生的进程级性能指标数据,确定所述目标应用程序对应每个计算节点的进程性能具体是:
基于所述目标应用程序在每个计算节点运行产生的进程通信信息和/或进程应用信息,确定所述进程标识对应进程在每个计算节点的进程性能。
从进程角度出发,可以获取进程通信信息,可以包括进程中运行的应用程序与其他进程运行的应用程序的消息或者数据的传输信息。可以获取进行的应用信息,可以包括进程中运行的应用程序对CPU的利用率、对内存的利用率和/或对网络带宽的利用率。
其中,每一个目标应用程序可以包含至少一个进程,可以分别获取每一个进行的进程性能。
可以针对进程标识对应进程在每个计算节点的进程性能进行展示。
为了获得更详细的应用性能指标的指标数据,作为又一个实施例,所述函数级性能指标数据包括函数名称、函数调用信息和/或函数运行时长;
所述处理组件目标应用程序在每个计算节点运行产生的函数级性能指标数据,确定所述目标应用程序对应每个计算节点的函数性能包括:
基于所述目标应用程序在每个计算节点运行产生的函数调用信息和/或函数运行时长,确定所述函数名称对应函数在每个计算节点的函数性能。
从函数角度出发,可以获取函数的调用信息,可以将函数的调用信息直接作为一种函数性能展示给用户,以方便用户获取各个函数的调用信息,例如,在实际应用中,可以展示各个函数的调用栈信息。
可选地,函数性能可以通过两种图表进行展示,一种是TOP-DOWN展示,一种是BOTTOM-UP展示,每一种展示都是通过火焰图的形式进行展示。
为了针对不同的函数级性能指标进行针对性分析,以获得多样性的函数性能,以获得更详细的分析结果,在某些实施例中,所述处理组件基于所述目标应用程序在每个计算节点运行产生的函数调用信息和/或函数运行时长,确定所述函数名称对应函数在每个计算节点的函数性能具体是:
基于所述目标应用程序在每个计算节点运行产生的函数调用信息,确定热点调用函数;
根据所述热点调用函数的运行时长,确定所述热点调用函数在每个计算节点的函数调用过程中的调用性能;
和/或,基于所述目标应用程序在每个计算节点运行产生的函数运行时长,确定函数耗时排名;
根据所述函数耗时排名,确定热点运行函数;
获取所述热点运行函数在每个计算节点被调用的栈信息,以确定所述热点调用函数运行时的运行性能。
为了获得详细的系统性能指标的指标数据,作为又一个实施例,所述系统性能指标包括:CPU占用指标、内存利用指标、网络带宽指标和/或CPU微架构指标;
所述处理组件基于运行所述目标应用程序的每个计算节点的系统性能指标数据,确定每个计算节点的系统性能具体是:
基于运行所述目标应用程序的每个计算节点的CPU占用率、内存利用率、网络带宽和/或CPU微架构数据,综合确定每个计算节点的系统性能。
上述所述的数据处理设备可以执行上述实施例所述数据处理步骤中的步骤,其执行内容和技术效果不再赘述,对于上述实施例中的数据处理方法其中各个步骤执行的操作的具体方式已经在有关该设备的实施例中进行了详细描述,此处将不做详细阐述说明。
如图10所示,为本申请数据处理系统的一个实施例的结构示意图,该系统可以包括:
至少一个计算节点1001,性能特征库保存设备1002,服务器1003。
其中,至少一个计算节点1001分别在同一采集时间,采集集群中运行目标应用程序的每个计算节点的系统性能指标数据,以及所述目标应用程序在每个计算节点运行产生的应用性能指标数据,之后,将所述系统性能指标数据,以及应用性能指标数据上传至所述性能特征库保存设备1002;
之后,性能特征库保存设备1002按照所述至少一个计算节点1001的节点标识,分别保存相应的系统性能指标数据以及应用性能指标数据。
之后,服务器1003可以随时获得在同一采集时间,采集集群中运行目标应用程序的每个计算节点的系统性能指标数据,以及所述目标应用程序在每个计算节点运行产生的应用性能指标数据。这时,服务器可以基于所述运行目标应用程序的每个计算节点的系统性能指标数据,确定每个计算节点的系统性能;基于所述目标应用程序在每个计算节点运行产生的应用性能指标数据,确定所述目标应用程序对应每个计算节点的应用性能;综合处理所述目标应用程序在每个计算节点的应用性能以及每个计算节点的系统性能。
该数据处理系统,可以通过在同一采集时间,采集集群中运行目标应用程序的每个计算节点的系统性能指标,以及目标应用程序在每个计算节点运行产生的应用性能指标数据,也即在同一采集时间,同时采集计算节点的系统性能指标的数据以及目标应用程序的应用性能指标的数据,继而可以针对采集的系统性能指标数据进行分析,获得每个计算节点的系统性能指标,针对采集的应用性能指标数据进行分析,获得目标应用程序对应每个计算节点的应用性能。同时获得应用程序的应用性能以及计算节点的节点性能等两个不同层指标层级的性能,进而可以针对应用性能以及系统性能进行综合处理,实现统一采集、分析、汇总等全面性的分析处理,完成内容更加全面的综合分析,提高了分析的准确度以及有效性。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (9)

1.一种数据处理方法,其特征在于,包括:
在同一采集时间,采集集群中运行目标应用程序的每个计算节点的系统性能指标数据,以及所述目标应用程序在每个计算节点运行产生的应用性能指标数据;
基于所述运行目标应用程序的每个计算节点的系统性能指标数据,确定每个计算节点的系统性能;
基于所述目标应用程序在每个计算节点运行产生的应用性能指标数据,确定所述目标应用程序对应每个计算节点的应用性能;
综合处理所述目标应用程序在每个计算节点的应用性能以及每个计算节点的系统性能;
所述方法还包括:汇总所述每个计算节点的系统性能,获得所述集群的系统性能;
所述综合处理所述目标应用程序在每个计算节点的应用性能以及每个计算节点的系统性能包括:
根据所述集群、每个计算节点以及目标应用程序的关联关系,建立所述集群的系统性能、所述每个计算节点的系统性能以及所述目标应用程序在每个计算节点的应用性能之间的关联关系。
2.根据权利要求1所述的方法,其特征在于,所述根据所述集群、每个计算节点以及目标应用程序的关联关系,建立所述集群的系统性能、所述每个计算节点的系统性能以及所述目标应用程序在每个计算节点的应用性能之间的关联关系之后,还包括:
展示所述集群的系统性能、所述每个计算节点的系统性能以及所述目标应用程序在每个计算节点的应用性能之间的关联关系。
3.根据权利要求1所述的方法,其特征在于,所述应用性能指标数据包括:进程级性能指标数据以及函数级性能指标数据;所述应用性能包括:进程性能以及函数性能;
所述基于所述目标应用程序在每个计算节点运行产生的应用性能指标数据,确定所述目标应用程序对应每个计算节点的应用性能包括:
基于所述目标应用程序在每个计算节点运行产生的进程级性能指标数据,确定所述目标应用程序对应每个计算节点的进程性能;
基于所述目标应用程序在每个计算节点运行产生的函数级性能指标数据,确定所述目标应用程序对应每个计算节点的函数性能。
4.根据权利要求1所述的方法,其特征在于,所述系统性能指标包括:CPU占用指标、内存利用指标、网络带宽指标和/或CPU微架构指标;
所述基于运行所述目标应用程序的每个计算节点的系统性能指标数据,确定每个计算节点的系统性能包括:
基于运行所述目标应用程序的每个计算节点的CPU占用率、内存利用率、网络带宽和/或CPU微架构数据,综合确定每个计算节点的系统性能。
5.根据权利要求3所述的方法,其特征在于,所述进程级性能指标数据包括进程标识、进程通信信息和/或进程应用信息;
所述基于所述目标应用程序在每个计算节点运行产生的进程级性能指标数据,确定所述目标应用程序对应每个计算节点的进程性能包括:
基于所述目标应用程序在每个计算节点运行产生的进程通信信息和/或进程应用信息,确定所述进程标识对应进程在每个计算节点的进程性能。
6.根据权利要求3所述的方法,其特征在于,所述函数级性能指标数据包括函数名称、函数调用信息和/或函数运行时长;
所述目标应用程序在每个计算节点运行产生的函数级性能指标数据,确定所述目标应用程序对应每个计算节点的函数性能包括:
基于所述目标应用程序在每个计算节点运行产生的函数调用信息和/或函数运行时长,确定所述函数名称对应函数在每个计算节点的函数性能。
7.根据权利要求6所述的方法,其特征在于,所述基于所述目标应用程序在每个计算节点运行产生的函数调用信息和/或函数运行时长,确定所述函数名称对应函数在每个计算节点的函数性能包括:
基于所述目标应用程序在每个计算节点运行产生的函数调用信息,确定热点调用函数;
根据所述热点调用函数的运行时长,确定所述热点调用函数在每个计算节点的函数调用过程中的调用性能;
和/或,基于所述目标应用程序在每个计算节点运行产生的函数运行时长,确定函数耗时排名;
根据所述函数耗时排名,确定热点运行函数;
获取所述热点运行函数在每个计算节点被调用的栈信息,以确定所述热点调用函数运行时的运行性能。
8.一种数据处理装置,其特征在于,包括:
数据采集模块,用于在同一采集时间,采集集群中运行目标应用程序的每个计算节点的系统性能指标数据,以及所述目标应用程序在每个计算节点运行产生的应用性能指标数据;
第一确定模块,用于基于所述运行目标应用程序的每个计算节点的系统性能指标数据,确定每个计算节点的系统性能;
第二确定模块,用于基于所述目标应用程序在每个计算节点运行产生的应用性能指标数据,确定所述目标应用程序对应每个计算节点的应用性能;
综合处理模块,用于综合处理所述目标应用程序在每个计算节点的应用性能以及每个计算节点的系统性能;
所述装置还用于汇总所述每个计算节点的系统性能,获得所述集群的系统性能;
所述综合处理所述目标应用程序在每个计算节点的应用性能以及每个计算节点的系统性能包括:根据所述集群、每个计算节点以及目标应用程序的关联关系,建立所述集群的系统性能、所述每个计算节点的系统性能以及所述目标应用程序在每个计算节点的应用性能之间的关联关系。
9.一种数据处理设备,其特征在于,包括:存储组件以及处理组件;所述存储组件用于存储一条或多条计算机指令,所述一条或多条计算机指令用于被所述处理组件调用并执行;
所述处理组件用于:
在同一采集时间,采集集群中运行目标应用程序的每个计算节点的系统性能指标数据,以及所述目标应用程序在每个计算节点运行产生的应用性能指标数据;基于所述运行目标应用程序的每个计算节点的系统性能指标数据,确定每个计算节点的系统性能;基于所述目标应用程序在每个计算节点运行产生的应用性能指标数据,确定所述目标应用程序对应每个计算节点的应用性能;综合处理所述目标应用程序在每个计算节点的应用性能以及每个计算节点的系统性能;
所述处理组件还用于:汇总所述每个计算节点的系统性能,获得所述集群的系统性能;
所述综合处理所述目标应用程序在每个计算节点的应用性能以及每个计算节点的系统性能包括:根据所述集群、每个计算节点以及目标应用程序的关联关系,建立所述集群的系统性能、所述每个计算节点的系统性能以及所述目标应用程序在每个计算节点的应用性能之间的关联关系。
CN201811095539.4A 2018-09-19 2018-09-19 数据处理方法、装置及设备 Active CN110928750B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811095539.4A CN110928750B (zh) 2018-09-19 2018-09-19 数据处理方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811095539.4A CN110928750B (zh) 2018-09-19 2018-09-19 数据处理方法、装置及设备

Publications (2)

Publication Number Publication Date
CN110928750A CN110928750A (zh) 2020-03-27
CN110928750B true CN110928750B (zh) 2023-04-18

Family

ID=69856058

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811095539.4A Active CN110928750B (zh) 2018-09-19 2018-09-19 数据处理方法、装置及设备

Country Status (1)

Country Link
CN (1) CN110928750B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112948229A (zh) * 2021-03-16 2021-06-11 广州虎牙科技有限公司 调度集群的性能确定方法、装置、计算机设备及存储介质
CN117472698B (zh) * 2023-12-27 2024-03-19 中诚华隆计算机技术有限公司 一种处理器带宽配置监控方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103338240A (zh) * 2013-06-19 2013-10-02 中金数据系统有限公司 监控自动漂移的云服务器自动监控系统及方法
CN104156296A (zh) * 2014-08-01 2014-11-19 浪潮(北京)电子信息产业有限公司 智能监控大规模数据中心集群计算节点的系统和方法
JP2016099680A (ja) * 2014-11-18 2016-05-30 ベリフィケーションテクノロジー株式会社 電子機器における性能最適化システム
CN106354616A (zh) * 2016-08-18 2017-01-25 北京并行科技股份有限公司 监测应用执行性能的方法、装置及高性能计算系统
CN106383776A (zh) * 2016-08-30 2017-02-08 北京北信源软件股份有限公司 一种分布式搜索集群系统的监控及自愈方法、装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9189273B2 (en) * 2014-02-28 2015-11-17 Lenovo Enterprise Solutions PTE. LTD. Performance-aware job scheduling under power constraints

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103338240A (zh) * 2013-06-19 2013-10-02 中金数据系统有限公司 监控自动漂移的云服务器自动监控系统及方法
CN104156296A (zh) * 2014-08-01 2014-11-19 浪潮(北京)电子信息产业有限公司 智能监控大规模数据中心集群计算节点的系统和方法
JP2016099680A (ja) * 2014-11-18 2016-05-30 ベリフィケーションテクノロジー株式会社 電子機器における性能最適化システム
CN106354616A (zh) * 2016-08-18 2017-01-25 北京并行科技股份有限公司 监测应用执行性能的方法、装置及高性能计算系统
CN106383776A (zh) * 2016-08-30 2017-02-08 北京北信源软件股份有限公司 一种分布式搜索集群系统的监控及自愈方法、装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李津宇 ; 陈健 ; .应用运行特征的快速分析方法.科研信息化技术与应用.2011,(06),全文. *

Also Published As

Publication number Publication date
CN110928750A (zh) 2020-03-27

Similar Documents

Publication Publication Date Title
Yadwadkar et al. Selecting the best vm across multiple public clouds: A data-driven performance modeling approach
CN110245078B (zh) 一种软件的压力测试方法、装置、存储介质和服务器
US10904112B2 (en) Automatic capture of detailed analysis information based on remote server analysis
US9544403B2 (en) Estimating latency of an application
US10116534B2 (en) Systems and methods for WebSphere MQ performance metrics analysis
US10909018B2 (en) System and method for end-to-end application root cause recommendation
US20160226736A1 (en) Service call graphs for website performance
US10411969B2 (en) Backend resource costs for online service offerings
CN110647447B (zh) 用于分布式系统的异常实例检测方法、装置、设备和介质
CN111966289A (zh) 基于Kafka集群的分区优化方法和系统
CN110928750B (zh) 数据处理方法、装置及设备
CN108664346A (zh) 分布式存储系统的节点异常的定位方法、装置和系统
CN114860563A (zh) 应用程序测试方法、装置、计算机可读存储介质及设备
US20160225043A1 (en) Determining a cost of an application
US11138086B2 (en) Collecting hardware performance data
JP2008108154A (ja) 稼働性能情報の管理システム
US10644971B2 (en) Graph search in structured query language style query
EP3764232B1 (en) Business transactions impact analysis
CN111274112B (zh) 应用程序压测方法、装置、计算机设备和存储介质
US20140214826A1 (en) Ranking method and system
US8065256B2 (en) System and method for detecting system relationships by correlating system workload activity levels
CN114090382B (zh) 超融合集群健康巡检方法和装置
JP4934660B2 (ja) 通信帯域算出方法、装置、およびトラヒック管理方法
CN111506422B (zh) 事件分析方法及系统
CN109766238B (zh) 基于session数的运维平台性能监控方法、装置及相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant