CN107463642A - 提升数据仓库工具资源利用率的方法和装置 - Google Patents

Abstract

本发明实施例提供一种提升数据仓库工具资源利用率的方法和装置，能够对数据仓库工具发起的任务进行资源占用的管理和控制，甄别出无效任务，降低资源浪费并提升整个数据分析平台的工作效率。该方法，针对数据仓库工具发起的任务进行资源占用分析，包括：在任务提交之前，分析所述任务的预计资源占用，若所述预计资源占用超过预设占用阈值一，则拒绝执行所述任务；和/或在任务执行过程中，监控所述任务的实际资源占用，若所述实际资源占用超过预设占用阈值二，则认定所述任务为无效任务并做结束处理。

Description

提升数据仓库工具资源利用率的方法和装置

技术领域

本发明涉及计算机技术领域，尤其涉及一种提升数据仓库工具资源利用率的方法和装置。

背景技术

数据仓库工具是当前用于数据分析的重要工具，可进行高效的数据查询分析等操作。数据仓库工具在进行数据分析时，主要是依赖于资源管理器进行资源调度和管理。资源管理器在资源调度时，能够做到尽可能平衡的资源分配。但在线上的应用中，无效的查询分析(下文中简称为“任务”)常常占了较大比例，造成了资源浪费的同时，还影响了有效任务的性能。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：

1、数据仓库工具发起的任务中存在大量的无效任务，造成资源浪费，而现有技术中并没有有效地甄别无效任务的方案；

2、资源管理器在资源调度时能尽量平衡的分配资源，但由于数据分析人员的人为原因等因素，常有无效的任务占满整体资源的情况发生。而资源管理器并不能够识别这些无效任务并阻止其运行。

发明内容

有鉴于此，本发明实施例提供一种提升数据仓库工具资源利用率的方法和装置，能够对数据仓库工具发起的任务进行资源占用的管理和控制，甄别出无效任务，降低资源浪费并提升整个数据分析平台的工作效率。

为实现上述目的，根据本发明实施例的一个方面，提供了一种提升数据仓库工具资源利用率的方法。

本发明实施例的一种提升数据仓库工具资源利用率的方法，针对数据仓库工具发起的任务进行资源占用分析，包括：在任务提交之前，分析所述任务的预计资源占用，若所述预计资源占用超过预设占用阈值一，则拒绝执行所述任务；和/或在任务执行过程中，监控所述任务的实际资源占用，若所述实际资源占用超过预设占用阈值二，则认定所述任务为无效任务并做结束处理。

可选地，所述预设占用阈值一包括如下一种或几种：任务任意阶段的数据大小阈值M、表的待处理数据大小阈值N、表数据合并过程中产生的临时数据表的数据大小阈值Q。

可选地，所述预设占用阈值二包括如下一种或几种：任务执行过程中产生的临时文件大小阈值V、任务所占用的服务器的内存消耗阈值W、任务所占用的服务器的网络带宽占用阈值X、任务执行时长阈值Y、任务的子任务执行时长阈值Z。

可选地，分析所述任务的预计资源占用，若所述预计资源占用超过预设占用阈值一，则拒绝执行所述任务包括：获取并解析任务的执行计划，以获取任务各阶段的数据大小；若任意阶段的数据大小超过阈值M时，则认定所述任务为无效任务并拒绝执行；和/或若任务中某表的待处理数据大小超过阈值N时，则获取所述表的总数据大小，若所述阈值N超过所述表的总数据大小的1/2，则认定所述任务为无效任务并拒绝执行；和/或若执行计划内表数据合并过程中产生的临时数据表的数据大小超过阈值Q，且任务不属于前述两种认定情况，则所述临时数据表的总数据条数大于待合并的表中最小表的数据条数的L倍时，认定所述任务为无效任务并拒绝执行。

可选地，监控所述任务的实际资源占用，若所述实际资源占用超过预设占用阈值二，则认定所述任务为无效任务并做结束处理包括：若所述任务执行过程中产生的临时文件大小超过阈值V，则认定所述任务为无效任务并做结束处理；和/或统计所述任务所占用所有服务器的实时内存消耗，若其中一台服务器的实时内存消耗超过阈值W，则认定所述任务为无效任务并做结束处理；和/或统计所述任务所占用所有服务器的网络带宽占用，若其中一台服务器的网络带宽占用超过阈值X，则认定所述任务为无效任务并做结束处理；和/或若所述任务的执行时长超过阈值Y，则认定所述任务为无效任务并做结束处理；和/或若所述任务中剩余的子任务的个数小于等于2，且剩余的子任务的执行时长超过阈值Z，则认定所述任务为无效任务并做结束处理；和/或若所述任务出现数据倾斜，则认定所述任务为无效任务并做结束处理。

可选地，所述方法还包括：设置白名单，用以标记无需进行资源占用分析的任务。

为实现上述目的，根据本发明实施例的另一方面，提供了一种提升数据仓库工具资源利用率的装置。

本发明实施例的一种提升数据仓库工具资源利用率的装置用以针对数据仓库工具发起的任务进行资源占用分析，包括：任务执行计划分析模块，用于在任务提交之前，分析所述任务的预计资源占用，若所述预计资源占用超过预设占用阈值一，则拒绝执行所述任务；和/或任务资源使用分析模块，用于在任务执行过程中，监控所述任务的实际资源占用，若所述实际资源占用超过预设占用阈值二，则认定所述任务为无效任务并做结束处理。

可选地，所述预设占用阈值一包括如下一种或几种：任务任意阶段的数据大小阈值M、表的待处理数据大小阈值N、表数据合并过程中产生的临时数据表的数据大小阈值Q。

可选地，所述预设占用阈值二包括如下一种或几种：任务执行过程中产生的临时文件大小阈值V、任务所占用的服务器的内存消耗阈值W、任务所占用的服务器的网络带宽占用阈值X、任务执行时长阈值Y、任务的子任务执行时长阈值Z。

可选地，所述任务执行计划分析模块还用于：获取并解析任务的执行计划，以获取任务各阶段的数据大小；若任意阶段的数据大小超过阈值M时，则认定所述任务为无效任务并拒绝执行；和/或若任务中某表的待处理数据大小超过阈值N时，则获取所述表的总数据大小，若所述阈值N超过所述表的总数据大小的1/2，则认定所述任务为无效任务并拒绝执行；和/或若执行计划内表数据合并过程中产生的临时数据表的数据大小超过阈值Q，且任务不属于前述两种认定情况，则所述临时数据表的总数据条数大于待合并的表中最小表的数据条数的L倍时，认定所述任务为无效任务并拒绝执行。

可选地，所述任务资源使用分析模块还用于：若所述任务执行过程中产生的临时文件大小超过阈值V，则认定所述任务为无效任务并做结束处理；和/或统计所述任务所占用所有服务器的实时内存消耗，若其中一台服务器的实时内存消耗超过阈值W，则认定所述任务为无效任务并做结束处理；和/或统计所述任务所占用所有服务器的网络带宽占用，若其中一台服务器的网络带宽占用超过阈值X，则认定所述任务为无效任务并做结束处理；和/或若所述任务的执行时长超过阈值Y，则认定所述任务为无效任务并做结束处理；和/或若所述任务中剩余的子任务的个数小于等于2，且剩余的子任务的执行时长超过阈值Z，则认定所述任务为无效任务并做结束处理；和/或若所述任务出现数据倾斜，则认定所述任务为无效任务并做结束处理。

可选地，所述装置还包括：白名单模块，用于设置白名单，以标记无需进行资源占用分析的任务。

为实现上述目的，根据本发明实施例的再一方面，提供了一种电子设备。

本发明实施例的一种电子设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明实施例的提升数据仓库工具资源利用率的方法。

为实现上述目的，根据本发明实施例的又一方面，提供了一种计算机可读介质。

本发明实施例的一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现本发明实施例的提升数据仓库工具资源利用率的方法。

上述发明中的一个实施例具有如下优点或有益效果：因为采用通过对数据仓库工具发起任务的执行计划和/或资源管理器的资源调用的分析的技术手段，所以克服了无法有效地甄别无效任务，造成资源浪费的技术问题，进而达到有效识别无效任务，提升数据仓库工具整体资源利用率、提升有效任务的执行效率的技术效果，为数据分析平台的可用性打下基础，也能提早发现数据分析任务中的数据倾斜问题；通过设置多个可选地预设占用阈值一指标，并利用该预设占用阈值一判断任务是否有效，从而能够灵活有效地在任务提交之前甄别无效任务；通过设置多个可选地预设占用阈值二指标，并利用该预设占用阈值二判断任务是否有效，从而能够灵活有效地在任务执行过程中甄别无效任务，提高平台的资源利用率；通过设置白名单，从而能够根据实际业务需求，将可能通过预设占用阈值一和预设占用阈值二被认定为无效的任务标记为无需进行资源占用分析的任务，保障这些任务不会被拒绝或结束，得以有效执行。

上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。

附图说明

附图用于更好地理解本发明，不构成对本发明的不当限定。其中：

图1是根据本发明实施例的提升数据仓库工具资源利用率的方法的主要步骤的示意图；

图2是根据本发明实施例的提升数据仓库工具资源利用率的方法的整体流程示意图；

图3是根据本发明实施例的提升数据仓库工具资源利用率的方法中通过监控任务的实际资源占用结束无效任务的主要流程示意图；

图4是根据本发明实施例的提升数据仓库工具资源利用率的装置的主要模块的示意图；

图5是本发明实施例可以应用于其中的示例性系统架构图；

图6是适于用来实现本发明实施例的终端设备或服务器的计算机系统的结构示意图。

具体实施方式

以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

本发明实施例的提升数据仓库工具资源利用率的技术方案通过对高耗时或资源占用量大的任务进行预判和/或执行过程中的校验，即在任务提交前通过二次确认的方式屏蔽掉部分无效查询，在任务执行过程中遇到占用大量资源并且耗时较长时间仍不释放资源的任务时，结束该任务，从而达到减少资源浪费的目的。

本发明实施例的技术方案可以应用到众多数据仓库工具中，例如可以但不限于Hive(Hive是基于Hadoop的一个数据仓库工具，适合海量数据的统计分析)、Presto(Presto是Facebook开发的数据查询引擎，可对250PB以上的数据进行快速地交互式分析)、Impala(Impala是Cloudera公司主导开发的新型查询系统，它提供SQL语义，能查询存储在Hadoop的HDFS和HBase中的PB级大数据)等分布式数据仓库工具。下文描述中，将着重以Hive为例，结合附图对本发明实施例的技术方案进行详细介绍，但并不表明本发明技术方案只适用于Hive，对基于Hive的提升数据仓库工具资源利用率的方法和装置的详细描述也不用来对本发明实施例的技术方案进行限定。

以下为本发明实施例中涉及的技术术语的解释：

Hadoop：是一个开发和运行处理大规模数据的软件平台；

YARN:即Apache Hadoop YARN(Yet Another Resource Negotiator，另一种资源协调者)是一种新的Hadoop资源管理器，它是一个通用资源管理系统，可为Hive提供统一的资源管理和调度，它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。

本发明实施例的提升数据仓库工具资源利用率的技术方案提供了对任务“资源占用分析”的方法，

1.提交任务前对任务预计的资源开支审查，判断是否为无效任务，并拒绝执行较低优先级的无效任务。

2.提交任务后对任务实际的资源开支分析，判断是否为无效任务，若是，则在警告无反馈后结束任务。

图1是根据本发明实施例的提升数据仓库工具资源利用率的方法的主要步骤的示意图，如图1所示，本发明实施例的提升数据仓库工具资源利用率的方法主要包括针对数据仓库工具发起的任务进行资源占用分析，具体而言，包括：

步骤S101：在任务提交之前，分析任务的预计资源占用，若预计资源占用超过预设占用阈值一，则拒绝执行任务；和/或

步骤S102：在任务执行过程中，监控任务的实际资源占用，若实际资源占用超过预设占用阈值二，则认定任务为无效任务并做结束处理。

步骤S101的措施和步骤S102的措施都可以提高数据仓库工具资源利用率，究竟在实际应用中选择步骤S101的措施还是S102的措施，或者步骤S101的措施和S102的措施同时使用，要视具体使用场景而定。通常来说认为S102的措施是对已经产生的资源浪费问题的补救手段，而步骤S101的措施是预防资源浪费问题的发生。

其中，预设占用阈值一可以但不限于包括如下一种或几种：任务任意阶段的数据大小阈值M、表的待处理数据大小阈值N、表数据合并过程中产生的临时数据表的数据大小阈值Q。

预设占用阈值二可以但不限于包括如下一种或几种：任务执行过程中产生的临时文件大小阈值V、任务所占用的服务器的内存消耗阈值W、任务所占用的服务器的网络带宽占用阈值X、任务执行时长阈值Y、任务的子任务执行时长阈值Z。

本发明实施例中，分析所述任务的预计资源占用，若所述预计资源占用超过预设占用阈值一，则拒绝执行所述任务主要可以包括：获取并解析任务的执行计划，以获取任务各阶段的数据大小；若任意阶段的数据大小超过阈值M时，则认定所述任务为无效任务并拒绝执行；和/或若任务中某表的待处理数据大小超过阈值N时，则获取所述表的总数据大小，若所述阈值N超过所述表的总数据大小的1/2，则认定所述任务为无效任务并拒绝执行；和/或若执行计划内表数据合并过程中产生的临时数据表的数据大小超过阈值Q，且任务不属于前述两种认定情况，则所述临时数据表的总数据条数大于待合并的表中最小表的数据条数的L倍时，认定所述任务为无效任务并拒绝执行。

而监控所述任务的实际资源占用，若所述实际资源占用超过预设占用阈值二，则认定所述任务为无效任务并做结束处理主要可以包括：若所述任务执行过程中产生的临时文件大小超过阈值V，则认定所述任务为无效任务并做结束处理；和/或统计所述任务所占用所有服务器的实时内存消耗，若其中一台服务器的实时内存消耗超过阈值W，则认定所述任务为无效任务并做结束处理；和/或统计所述任务所占用所有服务器的网络带宽占用，若其中一台服务器的网络带宽占用超过阈值X，则认定所述任务为无效任务并做结束处理；和/或若所述任务的执行时长超过阈值Y，则认定所述任务为无效任务并做结束处理；和/或若所述任务中剩余的子任务的个数小于等于2，且剩余的子任务的执行时长超过阈值Z，则认定所述任务为无效任务并做结束处理；和/或若所述任务出现数据倾斜，则认定所述任务为无效任务并做结束处理。

此外，本发明实施例的提升数据仓库工具资源利用率的方法还可以包括：设置白名单，用以标记无需进行资源占用分析的任务。

本发明实施例的提升数据仓库工具资源利用率的方法可以提供通过结束无效任务提升数据仓库工具资源利用率的完整解决方案。该方法可以在提升数据仓库工具资源利用率的装置中实现。以下以Hive为例，结合附图对本发明实施例的技术方案进行详细介绍。

图2是根据本发明实施例的提升数据仓库工具资源利用率的方法的整体流程示意图。如图2所示，本发明实施例的提升数据仓库工具资源利用率的装置按功能划分可以包含四个部分：任务执行计划分析模块、任务资源使用分析模块、白名单模块以及外部交互接口。

其中：

任务执行计划分析模块，主要用于通过分析任务的执行计划，判断预计资源的占用，拒绝执行预计资源占用超过预设占用阈值一的任务。

任务资源使用分析模块，主要用于在任务执行过程中，监控任务的实际资源占用，对高耗时或者占用大量资源的任务进行报警，在无用户反馈后结束任务。

外部交互接口，主要用于通过对外交互，实现对任务的分析计划的接收和执行控制。

白名单模块，用以标记无需进行资源占用分析的任务，允许白名单内的任务占用更多的资源。

以下针对上述各个模块的具体执行流程进行详细介绍。

任务执行计划分析模块：

任务执行计划分析模块主要是解析Hive的执行计划，根据执行计划判断该任务执行的必要性。具体可以通过以下判断来认定任务是否是无效任务：

1.获取并解析Hive发起任务的执行计划，获取任务各阶段的数据大小。本发明实施例中，任务在计划期就会按照任务逻辑划分为多个阶段，例如一个任务可以但不限于包括过滤-分组-排序阶段。

2.任意阶段的数据大小超过最大阈值M时，则认定任务为无效任务。

3.执行计划内某张表的数据大小超过阈值N时，获取完整表的计划，并解析表的总数据大小。在阈值N超过整张表的总数据大小的1/2时，认定为无效任务。

3中的认定情况主要是针对一些数据量较大的表而设计的。例如根据业务需求，会产生一些数据量较大的日志表、流量表等，这些表被列为重点大表的范畴。对于这些数据量较大的表，进行任务执行计划分析时，一般表中待处理的数据大小会超过阈值N。

4.执行计划内的涉及数据合并过程中产生的临时数据表的数据大小超过阈值Q，且不满足2和3中的认定条件时，若计算得到临时数据表的总数据条数大于待合并的表中最小表的数据条数的L倍时，认定任务为无效任务。

在任务的各阶段中，可能会涉及表与表之间的合并，产生临时数据表，4是针对这类情况进行判断。判断临时数据表的数据大小是否超过阈值Q，如果是的话，继续判断临时数据表的数据总条数是否大于待合并的两个表中最小表的数据总条数的L倍，如果是的话，则判断任务无效。(例如一个表数据1000条，另一个表数据为10000条，合并后大于小表的10倍)。其中，这个临时数据表有一个属性，大于等于最小表，小于等于所有表的笛卡尔积。

其中，任务符合2-4中任一条件即可认定为无效任务，被认定为无效的任务将从外部交互接口返回无效状态给任务发起者。

以上操作中：各阈值是按照实际操作需求而定，可动态调整。例如阈值M可按资源总量(资源总量是根据任务执行过程中消耗的资源来估算，是一个经验值。可以动态调整。例如可以采用如下计算方法：最近一个周期的，执行时长在min,max的任务消耗的资源总量的N倍。如：最近一周内，执行时长在30分钟-2小时的任务的资源总量的5倍)估算，可以但不限于是10TB，阈值N例如可以但不限于是10GB，阈值Q例如可以但不限于为100TB，阈值L例如可以但不限于是10。

当然，本发明实施例中，还可以使用其他资源分析办法可以替代本发明实施例中的任务执行计划分析，比如具体算法不局限于上述列举出的几种，或者即便是上述几种算法，阈值也并不具体限定为确切的M＝10TB、N＝10GB等。

任务资源使用分析模块

任务资源使用分析模块是在任务已经提交给YARN，并已经执行的过程中触发任务资源实际占用情况的分析。

具体而言，通过调用YARN的任务执行状态接口，通过任务编号(在Hive将任务提交给YARN时，YARN会生成并返回了一个任务编号。在任务的生命周期内，可以通过该任务编号获取任务的执行状态)查找负责执行该任务的服务器列表。然后进行如下判断：

1.若所述任务执行过程中产生的临时文件大小超过阈值V，则认定所述任务为无效任务并做结束处理。

2.统计所述任务所占用所有服务器的实时内存消耗，若其中一台服务器的实时内存消耗超过阈值W，则认定所述任务为无效任务并做结束处理。

3.统计所述任务所占用所有服务器的网络带宽占用，若其中一台服务器的网络带宽占用超过阈值X，则认定所述任务为无效任务并做结束处理。

4.若所述任务的执行时长超过阈值Y，则认定所述任务为无效任务并做结束处理。

5.若所述任务中剩余的子任务的个数小于等于2，且剩余的子任务的执行时长超过阈值Z，则认定所述任务为无效任务并做结束处理。

6.若所述任务出现数据倾斜，则认定所述任务为无效任务并做结束处理。

其中，任务符合1-6中任一条件即可认定为无效任务。以上操作中：最大阈值V(可按资源总量估算，如：10TB)，阈值W(如:100GB)，阈值X(如：10GB)，阈值Y(如：10小时)，阈值Z(如：2小时)。

当然，本发明实施例中，还可以使用其他资源分析办法可以替代本发明实施例中的任务执行计划分析，比如具体算法不局限于上述列举出的几种，或者即便是上述几种算法，阈值也并不具体限定为确切的M＝10TB、N＝10GB等。此外，还可以集成Mesos资源分析工具(Mesos是Apache下的开源分布式资源管理框架，它被称为是分布式系统的内核。Mesos最初是由加州大学伯克利分校的AMPLab开发的，后在Twitter得到广泛使用)，对任务执行过程中的资源使用情况进行分析。

任务资源使用分析模块判定的无效任务，不会立即被处理，而是发送警告给任务发起者确认。任务发起者可以确认反馈无效，则任务资源使用分析模块关闭任务；可以确认无反馈超时，则任务资源使用分析模块关闭任务；可以确认反馈有效，则任务资源使用分析模块暂不处理；连续例如但不限于3次则被判断为无效时，关闭任务。

图3是根据本发明实施例的提升数据仓库工具资源利用率的方法中通过监控任务的实际资源占用结束无效任务的主要流程示意图。

如图3所示：对操作中判定为无效的任务，进行标记，并发送警告给任务发起者。任务发起者在接收无效任务的警告后，可进行结束任务处理，也可以标记任务为有效任务。在持续3次(次数并不局限于3，可以根据实际需求动态调整)被标记为无效的任务，将被结束执行。任务发起者在接收警告后一段时间内未做处理的任务，也将被结束执行，释放资源。

外部交互接口

外部交互接口负责与外部任务调用功能的交互工作。主要有接收任务发起动作，发送无效任务警告给任务发起者，接收延迟处理任务确认，接收结束任务确认等交互。这些指令由该模块发起调用任务执行计划分析和任务资源使用分析模块执行。

白名单模块

通过外部交互接口可以申请标记任务为白名单任务，在白名单内的任务在发起时不会触发任务执行计划分析模块的分析，在任务执行过程中，也不会触发任务资源使用分析模块的分析。任务从白名单中移除后，以上两个分析模块将会被触发。

根据本发明实施例的提升数据仓库工具资源利用率的方法可以看出，因为采用通过对数据仓库工具发起任务的执行计划和/或资源管理器的资源调用的分析的技术手段，所以克服了无法有效地甄别无效任务，造成资源浪费的技术问题，进而达到有效识别无效任务，提升数据仓库工具整体资源利用率、提升有效任务的执行效率的技术效果，为数据分析平台的可用性打下基础，也能提早发现数据分析任务中的数据倾斜问题；通过设置多个可选地预设占用阈值一指标，并利用该预设占用阈值一判断任务是否有效，从而能够灵活有效地在任务提交之前甄别无效任务；通过设置多个可选地预设占用阈值二指标，并利用该预设占用阈值二判断任务是否有效，从而能够灵活有效地在任务执行过程中甄别无效任务，提高平台的资源利用率；通过设置白名单，从而能够根据实际业务需求，将可能通过预设占用阈值一和预设占用阈值二被认定为无效的任务标记为无需进行资源占用分析的任务，保障这些任务不会被拒绝或结束，得以有效执行。

图4是根据本发明实施例的提升数据仓库工具资源利用率的装置的主要模块的示意图。

如图4所示，本发明实施例的一种提升数据仓库工具资源利用率的装置400用以针对数据仓库工具发起的任务进行资源占用分析，其主要包括如下模块：任务执行计划分析模块401和/或任务资源使用分析模块402。

其中，任务执行计划分析模块401用于在任务提交之前，分析所述任务的预计资源占用，若所述预计资源占用超过预设占用阈值一，则拒绝执行所述任务；和/或任务资源使用分析模块402用于在任务执行过程中，监控所述任务的实际资源占用，若所述实际资源占用超过预设占用阈值二，则认定所述任务为无效任务并做结束处理。

本发明实施例中，预设占用阈值一可以但不限于包括如下一种或几种：任务任意阶段的数据大小阈值M、表的待处理数据大小阈值N、表数据合并过程中产生的临时数据表的数据大小阈值Q。

预设占用阈值二可以但不限于包括如下一种或几种：任务执行过程中产生的临时文件大小阈值V、任务所占用的服务器的内存消耗阈值W、任务所占用的服务器的网络带宽占用阈值X、任务执行时长阈值Y、任务的子任务执行时长阈值Z。

另外，任务执行计划分析模块401还可用于：获取并解析任务的执行计划，以获取任务各阶段的数据大小；若任意阶段的数据大小超过阈值M时，则认定所述任务为无效任务并拒绝执行；和/或若任务中某表的待处理数据大小超过阈值N时，则获取所述表的总数据大小，若所述阈值N超过所述表的总数据大小的1/2，则认定所述任务为无效任务并拒绝执行；和/或若执行计划内表数据合并过程中产生的临时数据表的数据大小超过阈值Q，且任务不属于前述两种认定情况，则所述临时数据表的总数据条数大于待合并的表中最小表的数据条数的L倍时，认定所述任务为无效任务并拒绝执行。

任务资源使用分析模块402还可用于：若所述任务执行过程中产生的临时文件大小超过阈值V，则认定所述任务为无效任务并做结束处理；和/或统计所述任务所占用所有服务器的实时内存消耗，若其中一台服务器的实时内存消耗超过阈值W，则认定所述任务为无效任务并做结束处理；和/或统计所述任务所占用所有服务器的网络带宽占用，若其中一台服务器的网络带宽占用超过阈值X，则认定所述任务为无效任务并做结束处理；和/或若所述任务的执行时长超过阈值Y，则认定所述任务为无效任务并做结束处理；和/或若所述任务中剩余的子任务的个数小于等于2，且剩余的子任务的执行时长超过阈值Z，则认定所述任务为无效任务并做结束处理；和/或若所述任务出现数据倾斜，则认定所述任务为无效任务并做结束处理。

此外，装置400还可包括：白名单模块(图中未示出)，用于设置白名单，以标记无需进行资源占用分析的任务。

从以上描述可以看出，因为采用通过对数据仓库工具发起任务的执行计划和/或资源管理器的资源调用的分析的技术手段，所以克服了无法有效地甄别无效任务，造成资源浪费的技术问题，进而达到有效识别无效任务，提升数据仓库工具整体资源利用率、提升有效任务的执行效率的技术效果，为数据分析平台的可用性打下基础，也能提早发现数据分析任务中的数据倾斜问题；通过设置多个可选地预设占用阈值一指标，并利用该预设占用阈值一判断任务是否有效，从而能够灵活有效地在任务提交之前甄别无效任务；通过设置多个可选地预设占用阈值二指标，并利用该预设占用阈值二判断任务是否有效，从而能够灵活有效地在任务执行过程中甄别无效任务，提高平台的资源利用率；通过设置白名单，从而能够根据实际业务需求，将可能通过预设占用阈值一和预设占用阈值二被认定为无效的任务标记为无需进行资源占用分析的任务，保障这些任务不会被拒绝或结束，得以有效执行。

图5示出了可以应用本发明实施例的提升数据仓库工具资源利用率方法或提升数据仓库工具资源利用率装置的示例性系统架构500。

如图5所示，系统架构500可以包括终端设备501、502、503，网络504和服务器505。网络504用以在终端设备501、502、503和服务器505之间提供通信链路的介质。网络504可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备501、502、503通过网络504与服务器505交互，以接收或发送消息等。终端设备501、502、503上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。

终端设备501、502、503可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。

服务器505可以是提供各种服务的服务器，例如对用户利用终端设备501、502、503所浏览的购物类网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的产品信息查询请求等数据进行分析等处理，并将处理结果(例如目标推送信息、产品信息--仅为示例)反馈给终端设备。

需要说明的是，本发明实施例所提供的提升数据仓库工具资源利用率方法一般由服务器505执行，相应地，提升数据仓库工具资源利用率装置一般设置于服务器505中。

应该理解，图5中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

下面参考图6，其示出了适于用来实现本发明实施例的终端设备的计算机系统600的结构示意图。图6示出的终端设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图6所示，计算机系统600包括中央处理单元(CPU)601，其可以根据存储在只读存储器(ROM)602中的程序或者从存储部分608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM 603中，还存储有系统600操作所需的各种程序和数据。CPU 601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。

以下部件连接至I/O接口605：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装入存储部分608。

特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。在该计算机程序被中央处理单元(CPU)601执行时，执行本发明的系统中限定的上述功能。

需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本发明实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器包括任务执行计划分析模块和任务资源使用分析模块。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定，例如，任务执行计划分析模块还可以被描述为“在任务提交之前，分析所述任务的预计资源占用的模块”。

作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备包括：针对数据仓库工具发起的任务进行资源占用分析，包括：在任务提交之前，分析所述任务的预计资源占用，若所述预计资源占用超过预设占用阈值一，则拒绝执行所述任务；和/或在任务执行过程中，监控所述任务的实际资源占用，若所述实际资源占用超过预设占用阈值二，则认定所述任务为无效任务并做结束处理。

根据本发明实施例的技术方案，因为采用通过对数据仓库工具发起任务的执行计划和/或资源管理器的资源调用的分析的技术手段，所以克服了无法有效地甄别无效任务，造成资源浪费的技术问题，进而达到有效识别无效任务，提升数据仓库工具整体资源利用率、提升有效任务的执行效率的技术效果，为数据分析平台的可用性打下基础，也能提早发现数据分析任务中的数据倾斜问题；通过设置多个可选地预设占用阈值一指标，并利用该预设占用阈值一判断任务是否有效，从而能够灵活有效地在任务提交之前甄别无效任务；通过设置多个可选地预设占用阈值二指标，并利用该预设占用阈值二判断任务是否有效，从而能够灵活有效地在任务执行过程中甄别无效任务，提高平台的资源利用率；通过设置白名单，从而能够根据实际业务需求，将可能通过预设占用阈值一和预设占用阈值二被认定为无效的任务标记为无需进行资源占用分析的任务，保障这些任务不会被拒绝或结束，得以有效执行。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (14)

1.一种提升数据仓库工具资源利用率的方法，其特征在于，针对数据仓库工具发起的任务进行资源占用分析，包括：

在任务提交之前，分析所述任务的预计资源占用，若所述预计资源占用超过预设占用阈值一，则拒绝执行所述任务；和/或

在任务执行过程中，监控所述任务的实际资源占用，若所述实际资源占用超过预设占用阈值二，则认定所述任务为无效任务并做结束处理。

2.根据权利要求1所述的方法，其特征在于，所述预设占用阈值一包括如下一种或几种：任务任意阶段的数据大小阈值M、表的待处理数据大小阈值N、表数据合并过程中产生的临时数据表的数据大小阈值Q。

3.根据权利要求1所述的方法，其特征在于，所述预设占用阈值二包括如下一种或几种：任务执行过程中产生的临时文件大小阈值V、任务所占用的服务器的内存消耗阈值W、任务所占用的服务器的网络带宽占用阈值X、任务执行时长阈值Y、任务的子任务执行时长阈值Z。

4.根据权利要求2所述的方法，其特征在于，分析所述任务的预计资源占用，若所述预计资源占用超过预设占用阈值一，则拒绝执行所述任务包括：

获取并解析任务的执行计划，以获取任务各阶段的数据大小；

若任意阶段的数据大小超过阈值M时，则认定所述任务为无效任务并拒绝执行；和/或

若任务中某表的待处理数据大小超过阈值N时，则获取所述表的总数据大小，若所述阈值N超过所述表的总数据大小的1/2，则认定所述任务为无效任务并拒绝执行；和/或

若执行计划内表数据合并过程中产生的临时数据表的数据大小超过阈值Q，且任务不属于前述两种认定情况，则所述临时数据表的总数据条数大于待合并的表中最小表的数据条数的L倍时，认定所述任务为无效任务并拒绝执行。

5.根据权利要求3所述的方法，其特征在于，监控所述任务的实际资源占用，若所述实际资源占用超过预设占用阈值二，则认定所述任务为无效任务并做结束处理包括：

若所述任务执行过程中产生的临时文件大小超过阈值V，则认定所述任务为无效任务并做结束处理；和/或

统计所述任务所占用所有服务器的实时内存消耗，若其中一台服务器的实时内存消耗超过阈值W，则认定所述任务为无效任务并做结束处理；和/或

统计所述任务所占用所有服务器的网络带宽占用，若其中一台服务器的网络带宽占用超过阈值X，则认定所述任务为无效任务并做结束处理；和/或

若所述任务的执行时长超过阈值Y，则认定所述任务为无效任务并做结束处理；和/或

若所述任务中剩余的子任务的个数小于等于2，且剩余的子任务的执行时长超过阈值Z，则认定所述任务为无效任务并做结束处理；和/或

若所述任务出现数据倾斜，则认定所述任务为无效任务并做结束处理。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：设置白名单，用以标记无需进行资源占用分析的任务。

7.一种提升数据仓库工具资源利用率的装置，其特征在于，所述装置用以针对数据仓库工具发起的任务进行资源占用分析，包括：

任务执行计划分析模块，用于在任务提交之前，分析所述任务的预计资源占用，若所述预计资源占用超过预设占用阈值一，则拒绝执行所述任务；和/或

任务资源使用分析模块，用于在任务执行过程中，监控所述任务的实际资源占用，若所述实际资源占用超过预设占用阈值二，则认定所述任务为无效任务并做结束处理。

8.根据权利要求7所述的装置，其特征在于，所述预设占用阈值一包括如下一种或几种：任务任意阶段的数据大小阈值M、表的待处理数据大小阈值N、表数据合并过程中产生的临时数据表的数据大小阈值Q。

9.根据权利要求7所述的装置，其特征在于，所述预设占用阈值二包括如下一种或几种：任务执行过程中产生的临时文件大小阈值V、任务所占用的服务器的内存消耗阈值W、任务所占用的服务器的网络带宽占用阈值X、任务执行时长阈值Y、任务的子任务执行时长阈值Z。

10.根据权利要求8所述的装置，其特征在于，所述任务执行计划分析模块还用于：

获取并解析任务的执行计划，以获取任务各阶段的数据大小；

若任意阶段的数据大小超过阈值M时，则认定所述任务为无效任务并拒绝执行；和/或

若任务中某表的待处理数据大小超过阈值N时，则获取所述表的总数据大小，若所述阈值N超过所述表的总数据大小的1/2，则认定所述任务为无效任务并拒绝执行；和/或

若执行计划内表数据合并过程中产生的临时数据表的数据大小超过阈值Q，且任务不属于前述两种认定情况，则所述临时数据表的总数据条数大于待合并的表中最小表的数据条数的L倍时，认定所述任务为无效任务并拒绝执行。

11.根据权利要求9所述的装置，其特征在于，所述任务资源使用分析模块还用于：

若所述任务执行过程中产生的临时文件大小超过阈值V，则认定所述任务为无效任务并做结束处理；和/或

统计所述任务所占用所有服务器的实时内存消耗，若其中一台服务器的实时内存消耗超过阈值W，则认定所述任务为无效任务并做结束处理；和/或

统计所述任务所占用所有服务器的网络带宽占用，若其中一台服务器的网络带宽占用超过阈值X，则认定所述任务为无效任务并做结束处理；和/或

若所述任务的执行时长超过阈值Y，则认定所述任务为无效任务并做结束处理；和/或

若所述任务中剩余的子任务的个数小于等于2，且剩余的子任务的执行时长超过阈值Z，则认定所述任务为无效任务并做结束处理；和/或

若所述任务出现数据倾斜，则认定所述任务为无效任务并做结束处理。

12.根据权利要求7所述的装置，其特征在于，所述装置还包括：白名单模块，用于设置白名单，以标记无需进行资源占用分析的任务。

13.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-6中任一所述的方法。

14.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-6中任一所述的方法。