[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN113742036A - 指标处理方法、装置及电子设备 - Google Patents

指标处理方法、装置及电子设备 Download PDF

Info

Publication number
CN113742036A
CN113742036A CN202010467686.0A CN202010467686A CN113742036A CN 113742036 A CN113742036 A CN 113742036A CN 202010467686 A CN202010467686 A CN 202010467686A CN 113742036 A CN113742036 A CN 113742036A
Authority
CN
China
Prior art keywords
task
index
information
computing
calculation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010467686.0A
Other languages
English (en)
Other versions
CN113742036B (zh
Inventor
刘泽树
韩翼
黄晓婧
孙艳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN202010467686.0A priority Critical patent/CN113742036B/zh
Publication of CN113742036A publication Critical patent/CN113742036A/zh
Application granted granted Critical
Publication of CN113742036B publication Critical patent/CN113742036B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本申请提供一种指标处理方法，包括：获取用于配置指标属性的指标配置信息，根据配置信息创建指标；基于指标，获得指标对应的计算任务的任务队列；获得计算任务的任务资源策略信息；根据任务资源策略信息以及计算任务的任务类型，确定是否需要对任务队列中的计算任务进行优化处理。本申请通过创建指标，获得指标计算任务的任务队列。之后，确定是否需要对任务队列中的计算任务进行优化处理，使得本申请的指标处理方法能够区分多个计算任务中的不同计算任务，使得一些指标能够优先产出，进而提升计算效率并增强其适用性。

Description

指标处理方法、装置及电子设备
技术领域
本申请涉及计算机技术领域，具体涉及两种指标处理方法、装置及电子设备。
背景技术
随着现代信息技术的不断发展，世界已跨入了互联网大数据时代。为了能够从大数据中获取所关注的内容，一般通过指标来对大量的数据进行分析处理。通过指标能够清晰直观地反应人们所需要的数据的实际状况。
在数据开发任务中，很多指标计算任务的计算逻辑基本相似，仅存在部分计算参数(例如维度上卷、时间片粒度变化等计算参数)不同，这样就会导致数据开发任务的数据需求不同，不能使用同一套产品化任务获得多个指标。因此，在对不同指标进行获取时，需要部署多套产品化任务，对于用户的专业性要求较高，操作难度较大。虽然现有的指标处理方法中，能够进行指标属性配置并控制计算。但现有技术的这种指标处理方法并不能将多个计算任务中的不同计算任务进行区分，会使得一些指标不能优先产出，从而导致计算效率低且适用性较差。
发明内容
本申请提供一种指标处理方法，以解决现有的指标处理方法计算效率低且适用性较差的问题。本申请还提供另外一种用指标处理方法、两种指标处理装置，以及与其对应的电子设备与计算机介质。
本申请提供一种指标处理方法，包括：
获取用于配置指标属性的指标配置信息，根据所述配置信息创建指标；
基于所述指标，获得所述指标对应的计算任务的任务队列；
获得所述计算任务的任务资源策略信息；
根据所述任务资源策略信息以及所述计算任务的任务类型，确定是否需要对所述任务队列中的计算任务进行优化处理。
可选的，还包括：获得所述计算任务的计算维度；所述计算维度是指所述计算任务中的参与数据计算的、包括日期、月份、年份、时间片、地理实体的至少一种维度；
所述根据所述任务资源策略信息以及所述计算任务的任务类型，确定是否需要对所述任务队列中的计算任务进行优化处理，包括：
根据所述任务资源策略信息、所述计算任务的任务类型以及所述计算维度，确定是否需要对所述任务队列中的计算任务进行优化处理。
可选的，如果在所述任务队列中存在计算任务需要进行优化处理，则对所述任务队列中不需要进行优化处理的计算任务进行优先处理。
可选的，还包括：
对系统元数据进行初始化，获得内置指标与内置指标对应的实体标识；其中，所述内置指标具有用于进行计算所述指标的单位计算维度；
所述获取用于配置指标属性的指标配置信息，根据所述配置信息创建指标，包括：
基于所述内置指标、所述内置指标对应的实体标识，进行指标属性配置，创建所述指标；其中，所述指标的属性包括指标标识、实体标识、依赖指标标识、计算维度、计算参数列表、指标类型中的至少一种参数。
可选的，还包括：
配置用于指标计算的依赖指标；其中，在配置用于指标计算的依赖指标时，若不存在所述依赖指标，则重新对所述系统元数据进行初始化；
所述基于所述内置指标、所述内置指标对应的实体标识，进行指标属性配置，创建所述指标，包括：
基于所述内置指标、所述内置指标对应的实体标识以及所述依赖指标，进行指标属性配置，创建所述指标。
可选的，在执行获取用于配置指标属性的指标配置信息的步骤之后，还包括：
对所述指标对应的属性中的参数进行合法性检查，如果所述参数对应的检查结果为不合法，则发出计算逻辑错误的提示信息。
可选的，所述内置指标的属性信息包括指标标识、指标对应模型、指标对应字段、指标描述、指标类型信息的至少一种；
所述基于所述内置指标、所述内置指标对应的实体标识，进行指标属性配置，创建所述指标，包括：
根据所述内置指标的属性信息、所述内置指标对应的实体标识，进行指标属性配置，创建所述指标。
可选的，还包括：
获得所述计算任务的任务调度信息以及任务实例运行信息；
根据所述任务调度信息进行任务调度运维，以及根据所述任务实例运行信息进行任务实例调度运维。
可选的，所述根据所述任务调度信息进行任务调度运维，包括：
根据所述指标配置信息，获得任务调度周期；
基于所述任务调度周期与任务血缘信息，轮询所述计算任务的上游任务运行状况信息；
根据所述上游任务运行状况信息，对所述计算任务进行调度延迟或者调度运行。
可选的，还包括：预先获得所述计算任务之间的任务血缘信息；
所述根据所述上游任务运行状况信息，对所述计算任务进行调度延迟或者调度运行，包括：
若所述上游任务运行状况信息为已完成状态，则执行所述计算任务对应的实例；
若所述上游任务运行状况信息为未完成状态，则持续轮询所述上游任务的运行状况信息；其中，若所述轮询的次数已达上限，所述上游任务运行状况信息为未完成状态，则所述计算任务对应的实例执行失败。
可选的，还包括：对所述计算任务进行调度停止；
所述对所述计算任务进行调度停止，包括：
根据所述计算任务的任务类型进行调度停止。
可选的，所述根据所述计算任务的任务类型进行调度停止，包括：
若所述计算任务的任务类型为实时任务，则停止所述实时任务对应的线上任务；
若所述计算任务的任务类型为离线任务，则停止所述离线任务对应的作业调度或停止运行所述离线任务对应的实例。
可选的，所述根据所述任务实例运行信息进行任务实例调度运维，包括：
根据所述任务实例运行信息，进行实例重运行与实例停止。
可选的，所述根据所述任务资源策略信息、所述计算任务的任务类型以及所述计算维度，确定是否需要对所述任务队列中的所述计算任务进行优化处理，包括：
基于所述任务资源策略信息，对计算任务进行任务筛选，获得筛选计算任务；
根据任务类型、计算维度，将所述筛选计算任务进行任务分组，获得分组后的计算任务；
获得分组包含的所述分组后的计算任务的任务数量；
根据所述分组包含的所述分组后的计算任务的任务数量，确定是否需要对所述任务队列中的所述计算任务进行优化处理。
可选的，如果所述分组包含的所述分组后的计算任务的任务数量超过预设数量，则需要对所述任务队列中的计算任务进行优化处理。
可选的，所述对所述任务队列中的计算任务进行优化处理，包括：
将超过预设数量的分组包含的计算任务进行计算参数表合并，获得新计算任务；
采用所述新计算任务替换所述超过预设数量的分组包含的计算任务。
可选的，还包括：基于所述计算任务的任务类型替换所述超过预设数量的分组包含的计算任务。
本申请还提供一种指标处理方法，包括：
获取用于配置指标属性的指标配置信息，根据所述配置信息创建指标；
基于所述指标，获得所述指标对应的计算任务；
获得所述计算任务的任务调度信息以及任务实例运行信息；
根据所述任务调度信息进行任务调度运维，以及根据所述任务实例运行信息进行任务实例调度运维。
本申请还提供一种交通指标处理方法，包括：
获取用于配置交通指标属性的交通指标配置信息，根据所述交通配置信息创建交通指标；
基于所述交通指标，获得所述交通指标对应的计算任务的任务队列；
获得所述计算任务的任务资源策略信息；
根据所述任务资源策略信息以及所述计算任务的任务类型，确定是否需要对所述任务队列中的计算任务进行优化处理。
对应地，本申请提供一种指标处理装置，包括：
指标创建单元，用于获取用于配置指标属性的指标配置信息，根据所述配置信息创建指标；
任务创建单元，用于基于所述指标，获得所述指标对应的计算任务的任务队列；
任务资源策略信息获得单元，用于获得所述计算任务的任务资源策略信息；
优化确定单元，用于根据所述任务资源策略信息以及所述计算任务的任务类型，确定是否需要对所述任务队列中的计算任务进行优化处理。
对应地，本申请还提供一种指标处理装置，包括：
指标创建单元，用于获取用于配置指标属性的指标配置信息，根据所述配置信息创建指标；
任务创建单元，用于基于所述指标，获得所述指标对应的计算任务；
信息获得单元，用于获得所述计算任务的任务调度信息以及任务实例运行信息；
运维单元，用于根据所述任务调度信息进行任务调度运维，以及根据所述任务实例运行信息进行任务实例调度运维。
对应地，本申请提供一种电子设备，所述电子设备包括：处理器；存储器，用于存储计算机程序，该计算机程序被处理器运行，执行上述两种指标处理方法任意一种所述的方法。
对应地，本申请提供一种计算机存储介质，所述计算机存储介质存储有计算机程序，该计算机程序被处理器运行，执行上述两种指标处理方法任意一种所述的方法。
与现有技术相比，本发明具有以下优点：
本申请提供一种指标处理方法，包括：获取用于配置指标属性的指标配置信息，根据配置信息创建指标；基于指标，获得指标对应的计算任务的任务队列；获得计算任务的任务资源策略信息；根据任务资源策略信息以及计算任务的任务类型，确定是否需要对任务队列中的计算任务进行优化处理。本申请通过创建指标，之后，基于创建的指标获得计算任务的任务队列。根据计算任务的任务资源策略信息、任务类型，确定是否需要对任务队列中的计算任务进行优化处理，使得本申请的指标处理方法能够区分多个计算任务中的不同计算任务，使得一些指标能够优先产出，进而提升计算效率并增强其适用性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
图1为本申请第一实施例提供的一种指标处理方法的流程图。
图2为本申请第二实施例提供的一种指标处理装置的示意图。
图3为本申请第三实施例提供的一种指标处理方法的流程图。
图4为本申请第四实施例提供的一种指标处理装置的示意图。
图5为本申请第五实施例提供的一种电子设备的示意图。
具体实施方式
在下面的描述中阐述了很多具体细节以便于充分理解本发明。但是本发明能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施的限制。
本申请提供两种指标处理方法，装置以及电子设备。以下为具体实施例。
如图1所示，其为本申请第一实施例提供的一种指标处理方法的流程图，该方法包括如下步骤。
步骤S101：获取用于配置指标属性的指标配置信息，根据配置信息创建指标。
在对本实施例的指标处理方法进行详细阐述之前，对本申请涉及的一些名词进行说明。
指标：按照生成类型可以将指标分为内置指标和衍生指标。其中，内置指标是指通过系统初始化创建的指标，无需对内置指标进行计算，内置指标直接存储在数据表中。衍生指标：基于内置指标，通过本申请的生成的指标，在本申请出现的指标多数指的是需要进行计算的指标，即衍生指标。
衍生指标按照产出的时效性分为实时指标和离线指标。每个衍生指标在进行运算时对应存在一个计算任务。其中，实时指标对应存在的是实时流处理任务，即实时计算任务(可简称为实时任务)；而离线指标对应存在的是离线计算任务(可简称为离线任务)，离线计算任务会定期调度运行。
对于实时计算任务，一个实时计算任务只会生成一个实时计算任务实例，并且实时计算任务实例会持续运行。而离线计算任务实例会周期调度运行，一个离线计算任务在每个调度周期都会产生一个离线计算任务实例，所以，一个离线计算任务可以对应多个离线计算任务实例。
在利用本实施例进行指标处理时，首先获取用于配置指标属性的指标配置信息，根据配置信息创建指标。当然，可以理解的是，在步骤S101创建的指标即为衍生指标。
在获取指标配置信息之前，对系统元数据进行初始化，获得内置指标与内置指标对应的实体标识；其中，内置指标具有用于进行计算指标的单位计算维度。本实施例是基于内置指标进行周期统计，获得衍生指标。例如，在交通领域中，若基础指标为A道路的B路口经过的车辆的速度，可以计算衍生指标A道路的B路口两分钟内经过的车辆的平均速度。其中，A道路的B路口为内置指标对应的实体标识，在本实施例中，也涉及衍生指标的实体标识，而在该场景中，A道路的B路口也为内置指标对应的实体标识。
通过系统元数据初始化脚本，创建系统内置指标和内置指标对应的实体标识。内置指标一般拥有最细的时间片粒度，便于衍生指标的计算。具体地，内置指标包含内置指标对应的指标标识、内置指标对应的实体标识、内置指标对应的模型、内置指标对应的字段、内置指标描述、内置指标对应的指标类型等属性。
例如avg_speed_1d_2mi标识为按天统计时间片粒度为2分钟的平均速度的指标标识。对于实体标识而言，同一个指标可以对应不同实体，例如avg_speed_1d_2mi可以是整个城市路网的平均速度，也可以是某一条道路的平均速度。内置指标对应的模型为存储内置指标的数据表名称。内置指标对应的字段为内置指标对应的数据字段名称。内置指标描述用于描述内置指标的计算周期、粒度等信息，以用于计算衍生指标。内置指标对应的指标类型一般包含实时指标和离线指标两种。
在进行创建指标之前，还需要预先选择实体。这主要是所有指标都会挂载在实体上，例如在交通领域，道路的平均速度、道路的拥堵指数等指标所属的实体是道路。
另外，由于本申请实际上是对指标二次加工，因此还需要预先获得指标依赖的指标，即依赖指标。依赖指标可以是内置指标和衍生指标。需要说明的是，对衍生指标再次加工，可以避免对数据重复计算。例如通过日维度表计算周维度表、近2周维度表时，近2周维度表可以通过周维度表的衍生指标进行计算，从而减少数据的扫描和计算量，以提高计算效率。
其中，需要说明的是，在配置用于指标计算的依赖指标时，若不存在依赖指标，则重新对系统元数据进行初始化，直至获得依赖指标为止。
在获得内置指标与内置指标对应的实体标识以及依赖指标后，作为获取用于配置指标属性的指标配置信息，根据配置信息创建指标的一种方式，可以是按照如下描述的方式。
基于内置指标、内置指标对应的实体标识以及依赖指标，进行指标属性配置，创建指标；其中，指标的属性包括指标标识、实体标识、依赖指标标识、计算维度、计算参数列表、指标类型中的至少一种参数。
指标标识是指标的唯一标识。实体标识类似于内置指标对应的实体标识，不做详细介绍。计算维度是指参与数据计算的维度，计算维度可以是日期、月份、年份、时间片、地理实体等维度。
在利用本实施例的指标处理方法计算交通中的某个衍生指标时，例如计算A道路的B路口的平均速度时，该实施例支持时间、时间片、路网等维度的计算，支持进行算术运算、聚合运算等类型的指标计算。时间维度计算可以是根据天维度指标计算周、月、年等维度的指标，或者根据天维度指标区分周几、区分工作日等维度的指标。例如，可以根据一天A道路的B路口经过的车辆的平均速度，来计算一周内A道路的B路口经过的车辆的平均速度。时间片维度计算可以是根据一段时间的维度指标，计算该段时间的整数倍的时间段的维度指标。例如，根据时间片2mi的平均速度计算时间片为10mi的平均速度。路网维度计算可以是指由路段级别的指标计算整条道路的指标，例如，可以利用组成道路C的路段B的平均速度，来计算道路C的平均速度。
作为指标的参数之一，计算参数列表包含多个计算参数，每个计算参数由计算列和计算类型组成。其中，计算列是指数据中需要参与计算的参数名称，包含字段名称、常量(系统时间、系统日期)等参数；计算类型是指需要对计算参数进行计算的类型，包含算术运算与聚合运算。例如：算术运算可以是加减乘除等运算；而聚合运算可以是最大MAX、最小MIN、平均AVG、求和SUM、计数COUNT等运算。
指标类型包含实时指标和离线指标。其中，实时指标适用于数据计算量较小，对实时性要求高的场景，而离线指标适用于计算量较大，适合批计算的场景。
在获取用于配置指标属性的指标配置信息的之后，为了进一步确认指标处理的准确性，对指标对应的属性中的参数进行合法性检查，如果参数对应的检查结果为不合法，则发出计算逻辑错误的提示信息。例如，例如源指标的计算维度为2分钟，配置衍生指标的计算维度为5分钟时，配置衍生指标的计算维度不是源指标的整数倍，则会发出计算逻辑错误的提示信息。
步骤S102：基于指标，获得指标对应的计算任务的任务队列。
在步骤S101创建指标之后，基于指标，获得指标对应的计算任务的任务队列。
具体地，在创建指标成功后，会自动创建计算任务。每个任务负责一个指标加工。在创建多个指标时，会对应存在多个计算任务，多个计算任务组成任务队列。在进行计算任务创建时，会同时生成计算任务的以下信息，包括任务基本信息、任务计算逻辑、任务输入输出信息、任务数据源认证信息、任务调度信息、任务血缘信息。其中，任务基本信息包括任务名称、任务对应的指标标识、任务类型以及任务资源策略信息。
在获得计算任务后，根据任务调度信息进行任务调度运维。具体地，作为根据任务调度信息进行任务调度运维的一种实施方式，首先，根据计算任务对应的指标配置信息，获得任务调度周期。之后，基于任务调度周期与任务血缘信息，轮询计算任务的上游任务运行状况信息。最终，根据上游任务运行状况信息，对计算任务进行调度延迟或者调度运行。
具体地，根据上游任务运行状况信息，对计算任务进行调度延迟或者调度运行，按照如下描述方式：若上游任务运行状况信息为已完成状态，则执行计算任务对应的实例；若上游任务运行状况信息为未完成状态，则持续轮询上游任务的运行状况信息；另外，若轮询的次数已达上限，上游任务运行状况信息为未完成状态时，则计算任务对应的实例执行失败。本实施例任务调度能够实现基于任务血缘信息的运行检查，可以有效避免上游任务延迟造成的数据缺失问题。
作为根据任务调度信息进行任务调度运维的另外一种实施方式，还可以是对计算任务进行调度停止。具体地，对所述计算任务进行调度停止可以根据计算任务的任务类型对计算任务进行调度停止。
更具体地，根据计算任务的任务类型进行调度停止，按照如下方式，若计算任务的任务类型为实时任务，则停止实时任务对应的线上任务；若计算任务的任务类型为离线任务，则停止离线任务对应的作业调度或停止运行离线任务对应的实例。在计算任务的任务类型为离线任务时，如果计算任务实例在运行中，停止实例的运行；如果离线任务处于作业调度中，则停止离线任务对应的作业调度。
在获得计算任务后，还可以根据任务实例运行信息进行任务实例调度运维。具体地，根据任务实例运行信息进行任务实例调度运维，可以是根据任务实例运行信息，进行实例重运行与实例停止。
在进行任务调度后，生成计算任务的任务实例。还可以根据任务实例运行信息进行任务实例调度运维，更具体地，根据任务实例运行信息，进行实例重运行与实例停止可以按照如下方式。通过任务实例获得任务实例的运行信息、运行计算逻辑、实例运行日志、实例运行开始时间、实例结束时间等信息。通过手动运行任务实例进行实例重运行，通过停止正在运行的任务实例进行实例停止。
步骤S103：获得计算任务的任务资源策略信息；根据任务资源策略信息以及计算任务的任务类型，确定是否需要对任务队列中的计算任务进行优化处理。
在创建计算任务后，会获得每个计算任务的任务资源策略信息。具体地，计算任务的任务资源策略分为共享类型与独占类型，为了将独占类型的计算任务对应的高优先级指标优先产出，将任务队列中的计算任务进行分类，具体可以通过确定是否需要对任务队列中的计算任务进行优化处理来分类。
同时需要获得计算任务的任务类型，在获得任务资源策略信息以及计算任务的任务类型后，根据任务资源策略信息以及计算任务的任务类型，确定是否需要对任务队列中的计算任务进行优化处理。同时，还可以获得计算任务的计算维度。此时，根据任务资源策略信息以及计算任务的任务类型，确定是否需要对任务队列中的计算任务进行优化处理可以是指：根据任务资源策略信息、计算任务的任务类型以及计算维度，确定是否需要对任务队列中的计算任务进行优化处理。
具体地，根据任务资源策略信息以及计算任务的任务类型、计算维度，确定是否需要对任务队列中的计算任务进行优化处理，可以按照如下描述的方式。
首先，基于任务资源策略信息，对计算任务进行任务筛选，获得筛选计算任务。在进行任务筛选时，筛选正在运行中且任务资源策略为共享类型的计算任务。
之后，根据任务类型、计算维度，将筛选计算任务进行任务分组，获得分组后的计算任务。在对筛选计算任务进行分组后，获得每个分组包含的分组后的计算任务的任务数量。
最终，根据分组包含的分组后的计算任务的任务数量，确定是否需要对任务队列中的计算任务进行优化处理。
进一步地，在步骤S103确定是否需要对任务队列中的计算任务进行优化处理之后，对任务队列中不需要进行优化处理的计算任务进行优先处理。
在步骤S103确定之后，对任务队列中不需要进行优化处理的计算任务进行优先处理，这样能够保证一些独占类型的计算任务对应的高优先级指标优先产出，从而提高计算效率。
同时，如果某个分组包含的分组后的计算任务的任务数量超过预设数量，则需要对任务队列中的计算任务进行优化处理。在本实施例中，将超过一个任务的分组的计算任务进行优化处理。
具体地，对任务队列中的计算任务进行优化处理，可以是：首先，将超过一个任务的分组包含的计算任务进行计算参数表合并，获得新计算任务；之后，采用新计算任务替换超过预设数量的分组包含的计算任务。这样，实际上是将一些共享类型的多个计算任务进行合并，从而减少计算资源的消耗，提高指标产出效率。
需要说明的是，最终可以基于计算任务的任务类型采用新计算任务替换超过预设数量的分组包含的计算任务。具体地，当计算任务的任务类型为实时任务时，直接下线源计算任务，并上线新计算任务；对于计算任务的任务类型为离线任务时，待源计算任务在当前调度周期都执行完成后，上线新计算任务，从而任务替换。源计算任务即为超过预设数量的分组包含的计算任务。
本实施例通过创建指标，之后，基于创建的指标获得计算任务的任务队列。根据计算任务的任务资源策略信息、任务类型、计算维度，确定是否需要对任务队列中的计算任务进行优化处理，并对任务队列中不需要进行优化处理的计算任务进行优先处理。使得本申请的指标处理方法能够区分多个计算任务中的不同计算任务，使得一些指标能够优先产出，进而提升计算效率并增强其适用性。
下面介绍本申请第一实施例提供的指标处理方法的应用场景。
在交通领域中，计算道路M在一个月内经过的汽车的平均速度时，将道路M在一个月内经过的汽车的平均速度作为衍生指标，算法数据产出每天每个时间段的经过汽车的速度作为内置指标，基于该内置指标，配置衍生指标属性的指标配置信息，创建衍生指标。然后，获得衍生指标对应的计算任务。基于衍生指标对应的计算任务，产出衍生指标，即可获得道路M在一个月内经过的汽车的平均速度。
在上述的第一实施例中，提供了一种指标处理方法。本申请第二实施例还提供一种指标处理方法。如图2所示，其为本申请第二实施例提供的一种指标处理方法的流程图。由于该实施例基本包含在第一实施例中，所以描述得比较简单，相关之处参见第一实施例的部分说明即可。下述描述的方法实施例仅仅是示意性的。
本实施例提供一种指标处理方法，如图2所示，其为本申请第二实施例提供的一种指标处理方法的流程图，该方法包括如下步骤。
步骤S201：获取用于配置指标属性的指标配置信息，根据配置信息创建指标。
步骤S202：基于指标，获得指标对应的计算任务。
步骤S203：获得计算任务的任务调度信息以及任务实例运行信息。
步骤S204：根据任务调度信息进行任务调度运维，以及根据任务实例运行信息进行任务实例调度运维。
基于上述第一实施例，本申请提供一种交通指标处理方法，实际上是将第一实施例的方法应用于交通领域，该交通指标处理方法包括：
获取用于配置交通指标属性的交通指标配置信息，根据所述交通配置信息创建交通指标；
基于所述交通指标，获得所述交通指标对应的计算任务的任务队列；
获得所述计算任务的任务资源策略信息；
根据所述任务资源策略信息以及所述计算任务的任务类型，确定是否需要对所述任务队列中的计算任务进行优化处理。
在上述的第一实施例中，提供了一种指标处理方法，与之相对应的，本申请第三实施例提供一种指标处理装置。如图3所示，其为本申请第三实施例提供的一种指标处理装置的示意图。由于装置实施例基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。下述描述的装置实施例仅仅是示意性的。
本申请第三实施例对应提供一种指标处理装置，包括：
指标创建单元301，用于获取用于配置指标属性的指标配置信息，根据所述配置信息创建指标；
任务创建单元302，用于基于所述指标，获得所述指标对应的计算任务的任务队列；
任务资源策略信息获得单元303，用于获得所述计算任务的任务资源策略信息；
优化确定单元304，用于根据所述任务资源策略信息以及所述计算任务的任务类型，确定是否需要对所述任务队列中的计算任务进行优化处理。
可选的，还包括计算维度获得单元；
所述计算维度获得单元，用于获得所述计算任务的计算维度；所述计算维度是指所述计算任务中的参与数据计算的、包括日期、月份、年份、时间片、地理实体的至少一种维度；
所述优化确定单元，具体用于：
根据所述任务资源策略信息、所述计算任务的任务类型以及所述计算维度，确定是否需要对所述任务队列中的计算任务进行优化处理。
可选的，还包括优先处理单元；
所述优先处理单元，用于如果在所述任务队列中存在计算任务需要进行优化处理，则对所述任务队列中不需要进行优化处理的计算任务进行优先处理。
可选的，还包括初始化单元；所述初始化单元，用于对系统元数据进行初始化，获得内置指标与内置指标对应的实体标识；其中，所述内置指标具有用于进行计算所述指标的单位计算维度；
所述指标创建单元，具体用于：基于所述内置指标、所述内置指标对应的实体标识，进行指标属性配置，创建所述指标；其中，所述指标的属性包括指标标识、实体标识、依赖指标标识、计算维度、计算参数列表、指标类型中的至少一种参数。
可选的，还包括依赖指标配置单元；所述依赖指标配置单元，用于配置用于指标计算的依赖指标；其中，在配置用于指标计算的依赖指标时，若不存在所述依赖指标，则重新对所述系统元数据进行初始化；
所述指标创建单元，具体用于：基于所述内置指标、所述内置指标对应的实体标识以及所述依赖指标，进行指标属性配置，创建所述指标。
可选的，还包括检查单元；所述检查单元，用于对所述指标对应的属性中的参数进行合法性检查，如果所述参数对应的检查结果为不合法，则发出计算逻辑错误的提示信息。
可选的，所述内置指标的属性信息包括指标标识、指标对应模型、指标对应字段、指标描述、指标类型信息的至少一种；
所述指标创建单元，具体用于：根据所述内置指标的属性信息、所述内置指标对应的实体标识，进行指标属性配置，创建所述指标。
可选的，还包括信息获得单元与运维单元；
所述信息获得单元，用于获得所述计算任务的任务调度信息以及任务实例运行信息；
所述运维单元，用于根据所述任务调度信息进行任务调度运维，以及根据所述任务实例运行信息进行任务实例调度运维。
可选的，所述运维单元，具体用于：
根据所述指标配置信息，获得任务调度周期；
基于所述任务调度周期与任务血缘信息，轮询所述计算任务的上游任务运行状况信息；
根据所述上游任务运行状况信息，对所述计算任务进行调度延迟或者调度运行。
可选的，还包括任务血缘信息获得单元；所述任务血缘信息获得单元，用于预先获得所述计算任务之间的任务血缘信息；
所述运维单元，具体用于：
若所述上游任务运行状况信息为已完成状态，则执行所述计算任务对应的实例；
若所述上游任务运行状况信息为未完成状态，则持续轮询所述上游任务的运行状况信息；其中，若所述轮询的次数已达上限，所述上游任务运行状况信息为未完成状态，则所述计算任务对应的实例执行失败。
可选的，还包括调度停止单元；所述调度停止单元，用于对所述计算任务进行调度停止；
所述调度停止单元，具体用于：
根据所述计算任务的任务类型进行调度停止。
可选的，所述调度停止单元，具体用于：
若所述计算任务的任务类型为实时任务，则停止所述实时任务对应的线上任务；
若所述计算任务的任务类型为离线任务，则停止所述离线任务对应的作业调度或停止运行所述离线任务对应的实例。
可选的，所述运维单元，具体用于：
根据所述任务实例运行信息，进行实例重运行与实例停止。
可选的，所述优化确定单元，具体用于：
基于所述任务资源策略信息，对计算任务进行任务筛选，获得筛选计算任务；
根据任务类型、计算维度，将所述筛选计算任务进行任务分组，获得分组后的计算任务；
获得分组包含的所述分组后的计算任务的任务数量；
根据所述分组包含的所述分组后的计算任务的任务数量，确定是否需要对所述任务队列中的计算任务进行优化处理。
可选的，还包括：优化处理单元；所述优化处理单元，用于如果所述分组包含的所述分组后的计算任务的任务数量超过预设数量，则需要对所述任务队列中的计算任务进行优化处理。
可选的，所述优化处理单元，具体用于：
将超过预设数量的分组包含的计算任务进行计算参数表合并，获得新计算任务；
采用所述新计算任务替换所述超过预设数量的分组包含的计算任务。
可选的，所述优化处理单元，还具体用于：基于所述计算任务的任务类型替换所述超过预设数量的分组包含的计算任务。
在上述的第二实施例中，提供了一种指标处理方法，与之相对应的，本申请第四实施例提供一种指标处理装置。如图4所示，其为本申请第四实施例提供的一种指标处理装置的示意图。由于装置实施例基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。下述描述的装置实施例仅仅是示意性的。
本申请第四实施例对应提供一种指标处理装置，包括：
指标创建单元401，用于获取用于配置指标属性的指标配置信息，根据所述配置信息创建指标；
任务创建单元402，用于基于所述指标，获得所述指标对应的计算任务；
信息获得单元403，用于获得所述计算任务的任务调度信息以及任务实例运行信息；
运维单元404，用于根据所述任务调度信息进行任务调度运维，以及根据所述任务实例运行信息进行任务实例调度运维。
本申请第一实施例与第二实施例分别给出了两种指标处理方法，本申请第五实施例给出了与第一实施例与第二实施例方法对应的电子设备。如图5所示，其示出了本实施例提供的电子设备的示意图。
本申请第五实施例提供一种电子设备，包括：
处理器501；
存储器502，用于存储计算机程序，该计算机程序被处理器运行，执行上述两种指标处理方法任意一种所述的方法。
本申请第一实施例与第二实施例分别给出了两种指标处理方法，本申请第六实施例给出了与第一实施例与第二实施例方法对应的计算机存储介质。
本申请第六实施例提供一种计算机存储介质，所述计算机存储介质存储有计算机程序，该计算机程序被处理器运行，执行上述两种指标处理方法任意一种所述的方法。
本申请虽然以较佳实施例公开如上，但其并不是用来限定本申请，任何本领域技术人员在不脱离本申请的精神和范围内，都可以做出可能的变动和修改，因此本申请的保护范围应当以本申请权利要求所界定的范围为准。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

Claims (23)

1.一种指标处理方法，其特征在于，包括：
获取用于配置指标属性的指标配置信息，根据所述配置信息创建指标；
基于所述指标，获得所述指标对应的计算任务的任务队列；
获得所述计算任务的任务资源策略信息；
根据所述任务资源策略信息以及所述计算任务的任务类型，确定是否需要对所述任务队列中的计算任务进行优化处理。
2.根据权利要求1所述的方法，其特征在于，还包括：获得所述计算任务的计算维度；所述计算维度是指所述计算任务中的参与数据计算的、包括日期、月份、年份、时间片、地理实体的至少一种维度；
所述根据所述任务资源策略信息以及所述计算任务的任务类型，确定是否需要对所述任务队列中的计算任务进行优化处理，包括：
根据所述任务资源策略信息、所述计算任务的任务类型以及所述计算维度，确定是否需要对所述任务队列中的计算任务进行优化处理。
3.根据权利要求1或2所述的方法，其特征在于，如果在所述任务队列中存在计算任务需要进行优化处理，则对所述任务队列中不需要进行优化处理的计算任务进行优先处理。
4.根据权利要求3所述的方法，其特征在于，还包括：
对系统元数据进行初始化，获得内置指标与内置指标对应的实体标识；其中，所述内置指标具有用于进行计算所述指标的单位计算维度；
所述获取用于配置指标属性的指标配置信息，根据所述配置信息创建指标，包括：
基于所述内置指标、所述内置指标对应的实体标识，进行指标属性配置，创建所述指标；其中，所述指标的属性包括指标标识、实体标识、依赖指标标识、计算维度、计算参数列表、指标类型中的至少一种参数。
5.根据权利要求4所述的方法，其特征在于，还包括：
配置用于指标计算的依赖指标；其中，在配置用于指标计算的依赖指标时，若不存在所述依赖指标，则重新对所述系统元数据进行初始化；
所述基于所述内置指标、所述内置指标对应的实体标识，进行指标属性配置，创建所述指标，包括：
基于所述内置指标、所述内置指标对应的实体标识以及所述依赖指标，进行指标属性配置，创建所述指标。
6.根据权利要求1所述的方法，其特征在于，在执行获取用于配置指标属性的指标配置信息的步骤之后，还包括：
对所述指标对应的属性中的参数进行合法性检查，如果所述参数对应的检查结果为不合法，则发出计算逻辑错误的提示信息。
7.根据权利要求4所述的方法，其特征在于，所述内置指标的属性信息包括指标标识、指标对应模型、指标对应字段、指标描述、指标类型信息的至少一种；
所述基于所述内置指标、所述内置指标对应的实体标识，进行指标属性配置，创建所述指标，包括：
根据所述内置指标的属性信息、所述内置指标对应的实体标识，进行指标属性配置，创建所述指标。
8.根据权利要求1所述的方法，其特征在于，还包括：
获得所述计算任务的任务调度信息以及任务实例运行信息；
根据所述任务调度信息进行任务调度运维，以及根据所述任务实例运行信息进行任务实例调度运维。
9.根据权利要求8所述的方法，其特征在于，所述根据所述任务调度信息进行任务调度运维，包括：
根据所述指标配置信息，获得任务调度周期；
基于所述任务调度周期与任务血缘信息，轮询所述计算任务的上游任务运行状况信息；
根据所述上游任务运行状况信息，对所述计算任务进行调度延迟或者调度运行。
10.根据权利要求9所述的方法，其特征在于，还包括：预先获得所述计算任务之间的任务血缘信息；
所述根据所述上游任务运行状况信息，对所述计算任务进行调度延迟或者调度运行，包括：
若所述上游任务运行状况信息为已完成状态，则执行所述计算任务对应的实例；
若所述上游任务运行状况信息为未完成状态，则持续轮询所述上游任务的运行状况信息；其中，若所述轮询的次数已达上限，所述上游任务运行状况信息为未完成状态，则所述计算任务对应的实例执行失败。
11.根据权利要求8所述的方法，其特征在于，还包括：对所述计算任务进行调度停止；
所述对所述计算任务进行调度停止，包括：
根据所述计算任务的任务类型进行调度停止。
12.根据权利要求11所述的方法，其特征在于，所述根据所述计算任务的任务类型进行调度停止，包括：
若所述计算任务的任务类型为实时任务，则停止所述实时任务对应的线上任务；
若所述计算任务的任务类型为离线任务，则停止所述离线任务对应的作业调度或停止运行所述离线任务对应的实例。
13.根据权利要求8所述的方法，其特征在于，所述根据所述任务实例运行信息进行任务实例调度运维，包括：
根据所述任务实例运行信息，进行实例重运行与实例停止。
14.根据权利要求2所述的方法，其特征在于，所述根据所述任务资源策略信息、所述计算任务的任务类型以及所述计算维度，确定是否需要对所述任务队列中的计算任务进行优化处理，包括：
基于所述任务资源策略信息，对计算任务进行任务筛选，获得筛选计算任务；
根据任务类型、计算维度，将所述筛选计算任务进行任务分组，获得分组后的计算任务；
获得分组包含的所述分组后的计算任务的任务数量；
根据所述分组包含的所述分组后的计算任务的任务数量，确定是否需要对所述任务队列中的计算任务进行优化处理。
15.根据权利要求14所述的方法，其特征在于，如果所述分组包含的所述分组后的计算任务的任务数量超过预设数量，则需要对所述任务队列中的计算任务进行优化处理。
16.根据权利要求15所述的方法，其特征在于，所述对所述任务队列中的计算任务进行优化处理，包括：
将超过预设数量的分组包含的计算任务进行计算参数表合并，获得新计算任务；
采用所述新计算任务替换所述超过预设数量的分组包含的计算任务。
17.根据权利要求16所述的方法，其特征在于，还包括：基于所述计算任务的任务类型替换所述超过预设数量的分组包含的计算任务。
18.一种指标处理方法，其特征在于，包括：
获取用于配置指标属性的指标配置信息，根据所述配置信息创建指标；
基于所述指标，获得所述指标对应的计算任务；
获得所述计算任务的任务调度信息以及任务实例运行信息；
根据所述任务调度信息进行任务调度运维，以及根据所述任务实例运行信息进行任务实例调度运维。
19.一种交通指标处理方法，其特征在于，包括：
获取用于配置交通指标属性的交通指标配置信息，根据所述交通配置信息创建交通指标；
基于所述交通指标，获得所述交通指标对应的计算任务的任务队列；
获得所述计算任务的任务资源策略信息；
根据所述任务资源策略信息以及所述计算任务的任务类型，确定是否需要对所述任务队列中的计算任务进行优化处理。
20.一种指标处理装置，其特征在于，包括：
指标创建单元，用于获取用于配置指标属性的指标配置信息，根据所述配置信息创建指标；
任务创建单元，用于基于所述指标，获得所述指标对应的计算任务的任务队列；
任务资源策略信息获得单元，用于获得所述计算任务的任务资源策略信息；
优化确定单元，用于根据所述任务资源策略信息以及所述计算任务的任务类型，确定是否需要对所述任务队列中的计算任务进行优化处理。
21.一种指标处理装置，其特征在于，包括：
指标创建单元，用于获取用于配置指标属性的指标配置信息，根据所述配置信息创建指标；
任务创建单元，用于基于所述指标，获得所述指标对应的计算任务；
信息获得单元，用于获得所述计算任务的任务调度信息以及任务实例运行信息；
运维单元，用于根据所述任务调度信息进行任务调度运维，以及根据所述任务实例运行信息进行任务实例调度运维。
22.一种电子设备，其特征在于，所述电子设备包括：处理器；存储器，用于存储计算机程序，该计算机程序被处理器运行，执行权利要求1-17、权利要求18任意一项所述的方法。
23.一种计算机存储介质，其特征在于，所述计算机存储介质存储有计算机程序，该计算机程序被处理器运行，执行权利要求1-17、权利要求18任意一项所述的方法。
CN202010467686.0A 2020-05-28 2020-05-28 指标处理方法、装置及电子设备 Active CN113742036B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010467686.0A CN113742036B (zh) 2020-05-28 2020-05-28 指标处理方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010467686.0A CN113742036B (zh) 2020-05-28 2020-05-28 指标处理方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN113742036A true CN113742036A (zh) 2021-12-03
CN113742036B CN113742036B (zh) 2024-01-30

Family

ID=78724106

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010467686.0A Active CN113742036B (zh) 2020-05-28 2020-05-28 指标处理方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN113742036B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114090018A (zh) * 2022-01-25 2022-02-25 树根互联股份有限公司 工业互联网设备的指标计算方法、装置和电子设备
CN114726869A (zh) * 2022-04-02 2022-07-08 中国建设银行股份有限公司 资源管理方法及装置、存储介质及电子设备

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103995899A (zh) * 2014-06-10 2014-08-20 浪潮通用软件有限公司 一种kpi的分析系统
US20160110677A1 (en) * 2014-06-30 2016-04-21 Utopia Global, Inc. Systems and techniques for ensuring the integrity of enterprise asset management data
WO2017016423A1 (zh) * 2015-07-29 2017-02-02 阿里巴巴集团控股有限公司 一种实时新增数据更新方法和装置
CN107291545A (zh) * 2017-08-07 2017-10-24 星环信息科技（上海）有限公司 计算集群中多用户的任务调度方法及设备
CN107562797A (zh) * 2017-08-02 2018-01-09 贵州工程应用技术学院 一种基于数据指标统计的通用智能化设计方法
US20180026853A1 (en) * 2016-07-25 2018-01-25 Imvision Software Technologies Ltd. System and method for determining resources utilization in a virtual network
CN107977268A (zh) * 2017-10-13 2018-05-01 北京百度网讯科技有限公司 人工智能的异构硬件的任务调度方法、装置及可读介质
CN109710407A (zh) * 2018-12-21 2019-05-03 浪潮电子信息产业股份有限公司 分布式系统实时任务调度方法、装置、设备及存储介质
CN109960560A (zh) * 2019-03-29 2019-07-02 北京九章云极科技有限公司 一种指标处理方法及系统
CN110554909A (zh) * 2019-09-06 2019-12-10 腾讯科技（深圳）有限公司 任务的调度处理方法、装置及计算机设备
WO2020000944A1 (zh) * 2018-06-25 2020-01-02 星环信息科技（上海）有限公司 基于抢占式调度的资源共享使用方法、系统及设备
CN110647387A (zh) * 2019-08-29 2020-01-03 武汉天喻教育科技有限公司 一种教育云大数据任务调度方法与系统

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103995899A (zh) * 2014-06-10 2014-08-20 浪潮通用软件有限公司 一种kpi的分析系统
US20160110677A1 (en) * 2014-06-30 2016-04-21 Utopia Global, Inc. Systems and techniques for ensuring the integrity of enterprise asset management data
WO2017016423A1 (zh) * 2015-07-29 2017-02-02 阿里巴巴集团控股有限公司 一种实时新增数据更新方法和装置
US20180026853A1 (en) * 2016-07-25 2018-01-25 Imvision Software Technologies Ltd. System and method for determining resources utilization in a virtual network
CN107562797A (zh) * 2017-08-02 2018-01-09 贵州工程应用技术学院 一种基于数据指标统计的通用智能化设计方法
CN107291545A (zh) * 2017-08-07 2017-10-24 星环信息科技（上海）有限公司 计算集群中多用户的任务调度方法及设备
CN107977268A (zh) * 2017-10-13 2018-05-01 北京百度网讯科技有限公司 人工智能的异构硬件的任务调度方法、装置及可读介质
WO2020000944A1 (zh) * 2018-06-25 2020-01-02 星环信息科技（上海）有限公司 基于抢占式调度的资源共享使用方法、系统及设备
CN109710407A (zh) * 2018-12-21 2019-05-03 浪潮电子信息产业股份有限公司 分布式系统实时任务调度方法、装置、设备及存储介质
CN109960560A (zh) * 2019-03-29 2019-07-02 北京九章云极科技有限公司 一种指标处理方法及系统
CN110647387A (zh) * 2019-08-29 2020-01-03 武汉天喻教育科技有限公司 一种教育云大数据任务调度方法与系统
CN110554909A (zh) * 2019-09-06 2019-12-10 腾讯科技（深圳）有限公司 任务的调度处理方法、装置及计算机设备

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114090018A (zh) * 2022-01-25 2022-02-25 树根互联股份有限公司 工业互联网设备的指标计算方法、装置和电子设备
CN114090018B (zh) * 2022-01-25 2022-05-24 树根互联股份有限公司 工业互联网设备的指标计算方法、装置和电子设备
CN114726869A (zh) * 2022-04-02 2022-07-08 中国建设银行股份有限公司 资源管理方法及装置、存储介质及电子设备

Also Published As

Publication number Publication date
CN113742036B (zh) 2024-01-30

Similar Documents

Publication Publication Date Title
US10558498B2 (en) Method for scheduling data flow task and apparatus
US10936364B2 (en) Task allocation method and system
CN107431696B (zh) 用于应用自动化部署的方法和云管理节点
JP6447120B2 (ja) ジョブスケジューリング方法、データアナライザ、データ解析装置、コンピュータシステム及びコンピュータ可読媒体
Di et al. Characterizing and modeling cloud applications/jobs on a Google data center
US20160034328A1 (en) Systems and methods for spatially displaced correlation for detecting value ranges of transient correlation in machine data of enterprise systems
US10356167B1 (en) Workload profiling
US8756307B1 (en) Translating service level objectives to system metrics
Burkimsher et al. A survey of scheduling metrics and an improved ordering policy for list schedulers operating on workloads with dependencies and a wide variation in execution times
US10986191B2 (en) Method and device for scheduling resources
Ouyang et al. Straggler detection in parallel computing systems through dynamic threshold calculation
CN112835924A (zh) 实时计算任务处理方法、装置、设备及存储介质
Garraghan et al. Timely long tail identification through agent based monitoring and analytics
US11698938B2 (en) System and method for data event management system
CN105893224B (zh) 一种资源度量方法及装置
CN115794393A (zh) 业务模型的执行方法、装置、服务器及存储介质
CN113760658A (zh) 一种监控方法、装置及设备
CN113742036B (zh) 指标处理方法、装置及电子设备
US20230031049A1 (en) Dynamic resource allocation in a distributed system
CN111459474B (zh) 一种模板化的数据处理方法及装置
CN115914064A (zh) 网络系统服务性能评估方法、装置、计算设备和存储介质
EP2770447B1 (en) Data processing method, computational node and system
US10444939B2 (en) Analysis of recurring processes
US12026554B2 (en) Query-response system for identifying application priority
CN105677652B (zh) 一种数据管理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40062881

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant