CN112667394B - 一种计算机资源利用率优化方法 - Google Patents

Abstract

本发明提供了一种计算机资源利用率优化方法，包括：步骤1，进行数据预处理；步骤2，使用LSTM神经网络对任务特征样本和资源利用率之间的关系进行编码；步骤3，对真实集群运行数据资源利用率序列进行学习，生成资源利用率预测函数；步骤4，输入测试数据中的任务运行状态，使用资源利用率预测函数进行预测，将预测的资源利用率与测试数据中的资源利用率进行对比，统计计算开销和预测误差，预测误差包括均方误差，平均绝对误差，平均绝对误差的标准差；预测结束后，对计算机资源利用率进行优化。本发明可以应用于云资源利用率的优化等。本发明的资源利用率优化方法，具有预测准确率高、优化稳定性好等优点。

Description

一种计算机资源利用率优化方法

技术领域

本发明涉及一种计算机资源利用率优化方法。

背景技术

资源调度问题是云计算领域中的一个重要研究问题，这一问题的难点在于如何对集群资源进行实时的准确预测。

近年来人们开发出了很多资源调度的算法，但是这些算法都存在一些不足之处，有的算法对于使用资源的预测上过于粗略，有的算法使用基于规则的资源调度算法，无法预测真实集群中的资源使用。上述算法无法从而，我们提出了一种基于逆强化学习和LSTM神经网络的资源利用率预测方法，使用真实集群数据根据任务运行情况预测出机器资源利用率的变化特征,便于对资源利用率进行优化。

发明内容

发明目的：本发明所要解决的技术问题是针对现有技术的不足，提供一种计算机资源利用率优化方法，包括如下步骤：

步骤1，提取一段时间内集群运行的真实数据，并进行数据预处理；

步骤2，使用LSTM神经网络对任务特征样本和资源利用率之间的关系进行编码；

步骤3，使用基于逆强化学习算法对真实集群运行数据资源利用率序列进行学习，生成资源利用率预测函数，所述逆强化学习算法包括策略网络和判别网络两部分，所述策略网络用于预测资源利用率，所述判别网络用于评价策略网络预测的好坏；

步骤4，输入测试数据中的任务运行状态，使用资源利用率预测函数进行预测，将预测的资源利用率与测试数据中的资源利用率进行对比，统计计算开销和预测误差，预测误差包括均方误差，平均绝对误差，平均绝对误差的标准差。算法训练结束后，使用削峰填谷的方法将任务调度至预测资源利用率较低的计算机，从而对计算机资源利用率进行优化。

步骤1包括：

步骤1-1，对原始数据进行分块提取：按照真实集群运行数据的时间戳顺序，以设定的时间长度，将大于一小时的集群运行数据分为两个以上连续时间段内的小段运行数据；所述设定的时间长度根据集群资源利用率预测的需求确定；

步骤1-2，将两个以上连续时间段内的小段运行数据打包成整段运行轨迹，具体地，将运行数据中的任务特征样本和资源利用率序列分别打包为状态变量和动作变量；

步骤1-3，将运行轨迹设定为能够交互的预测环境，所述预测环境指与算法交互的环境，算法接受预测环境给定的状态，对当前状态做出动作，然后获取预测环境的反馈。

步骤1-2中，状态变量

的定义为：

其中i为机器编号，t为当前时刻，m为状态变量中包含的历史数据长度，

为t-m到t-1时刻第i台机器上的任务运行状态，

为t-m到t-1时刻第i台机器的真实资源利用率；

动作变量

的定义为：

其中

为t时刻机器i的预测资源利用率。

所述步骤2包括：

步骤2-1，将任务特征样本输入LSTM神经网络，所述任务特征样本

的定义为：

其中

为t时刻正在运行的任务集合：

其中task₁,task₂表示不同的两个任务；

LSTM神经网络的训练目标是过去m个时刻的资源利用率序列

步骤2-2，使用反向传播方法以

为拟合目标训练LSTM神经网络，迭代两次以上，直到LSTM神经网络训练目标与真实值相对误差小于百分之十，取出LSTM神经网络的最后一个隐藏层输出作为任务特征样本的编码。

步骤3包括：

步骤3-1，初始化策略网络和判别网络的参数，所述策略网络指用于进行资源利用率预测的模型，所述判别网络指用于判别策略网络拟合效果的模型；准备真实集群数据作为策略网络的学习目标；

步骤3-2，从策略网络进行预测资源利用率的采样，从真实集群数据进行真实资源利用率的采样，根据预测资源利用率和真实资源利用率之间的误差使用梯度下降方法更新判别网络的参数，作为策略网络的代价函数；

步骤3-3，使用强化学习方法训练策略网络，直到策略网络收敛，从而生成资源利用率预测函数(参考文献：Schulman J,Wolski F,Dhariwal P,et al.Proximal PolicyOptimization Algorithms[J].2017.)。

步骤4的误差计算方法为：

均方误差MSE的计算方法为：

平均绝对误差MAE的计算方法为：

其中n为预测的总样本数，U_s ⁽ⁱ⁾为预测的资源利用率，U_R ⁽ⁱ⁾为真实的资源利用率。

平均绝对误差的计算方法参考总体标准差的计算方法。计算开销的计算方法为，统计预测算法完成多次预测所需的时间，并求平均值。

本发明与现有技术相比，其显著优点为：本发明采用了基于逆强化学习的云资源利用率预测算法，相比其他预测算法，可以结合真实集群数据预测更符合生产环境下资源利用率序列，从而通过实时准确预测帮助优化计算机资源利用率的使用情况，方便对资源调度策略进行实时调整。

附图说明

下面结合附图和具体实施方式对本发明做更进一步的具体说明，本发明的上述和/或其他方面的优点将会变得更加清楚。

图1是本发明方法的工作流程示意图；

图2是本发明方法在阿里巴巴和谷歌数据集上预测的均方误差；

图3是本发明方法在阿里巴巴和谷歌数据集上预测的平均绝对误差；

图4是本发明方法在阿里巴巴和谷歌数据集上预测的平均绝对误差的标准差；

图5是本发明方法在阿里巴巴和谷歌数据集上预测的计算开销。

具体实施方式

本发明公开了一种计算机资源利用率优化方法，本方法应用于真实云环境资源利用率预测问题，本发明在资源利用率预测算法中，具有较高的预测准确率和较强的稳定性，同时可以适用于不同集群架构的资源利用率预测问题。

如图1所示，本发明提供一种计算机资源利用率优化方法，包括以下步骤：

步骤1，提取一段时间内集群运行的真实数据，并进行数据预处理。所述数据预处理，包括数据分块，运行轨迹打包，预测环境设定等三部分。所述数据分块部分指按照集群运行数据的时间戳顺序，以设定的时间长度，将较长时间集群运行数据分为若干个连续时间段内的小段运行数据。所述设定的时间长度根据集群资源利用率预测的需求确定。所述运行轨迹打包部分指将包括任务运行信息和资源利用率信息打包为状态和动作等变量。所述预测环境设定指将状态动作序列设定为可交互预测环境。所述预测环境指与算法交互的环境，算法接受预测环境给定的状态，对当前状态做出动作，然后获取预测环境的反馈。

步骤2，使用LSTM神经网络对任务运行状态和资源利用率之间的关系进行编码。所述任务运行状态包括任务请求资源，开始时间，结束时间。资源利用率序列作为LSTM神经网络的输出，使用反向传播的方法进行神经网络的优化。此过程迭代训练多次，直到神经网络对于资源利用率的拟合完全收敛。然后，取出LSTM神经网络隐藏层的最后一层作为当前任务运行状态的编码。

步骤3，使用基于逆强化学习算法对真实资源利用率序列进行学习。所述逆强化学习算法，首先通过逆强化学习过程学习真实环境中的资源利用率代价函数，然后从代价函数进行强化学习，来生成资源利用率预测函数。所述资源利用率预测函数从集群状态映射到集群资源利用率，使得算法可以对真实集群的资源利用率进行预测，所述逆强化学习包括策略网络和判别网络两部分，所述策略网络用于预测资源利用率，判别网络用于评价策略网络预测的好坏。

步骤4，输入测试数据中的任务运行状态，使用策略网络生成的资源利用率预测函数进行预测，预测结果输出的资源利用率与测试数据中的资源利用率进行对比，统计计算开销和预测误差，预测误差包括均方误差，平均绝对误差，平均绝对误差的标准差。算法训练结束后，使用削峰填谷的方法进行资源利用率优化，即将任务调度至预测资源利用率较低的计算机。

所述步骤1包括：

步骤1-1，对原始数据进行分块提取：按照真实集群运行数据的时间戳顺序，以设定的时间长度，将大于一小时的集群运行数据分为两个以上连续时间段内的小段运行数据；所述设定的时间长度根据集群资源利用率预测的需求确定；

步骤1-2，将两个以上连续时间段内的小段运行数据打包成整段运行轨迹，具体地，将运行数据中的任务特征样本和资源利用率序列分别打包为状态变量和动作变量；

步骤1-3，将运行轨迹设定为能够交互的预测环境，所述预测环境指与算法交互的环境，算法接受预测环境给定的状态，对当前状态做出动作，然后获取预测环境的反馈。

所述步骤2包括：

步骤2-1，将任务特征样本输入LSTM神经网络，所述任务特征样本

的定义为：

其中

为t时刻正在运行的任务集合

LSTM神经网络的目标是过去m个时刻的资源利用率序列

步骤2-2，使用反向传播方法以

为拟合目标训练LSTM神经网络，迭代多次，直到LSTM神经网络训练目标与真实值相对误差小于百分之十，取出LSTM神经网络的最后一个隐藏层输出作为任务特征样本的编码。

所述步骤3包括：

步骤3-1，初始化策略网络和判别网络参数，所述策略网络指用于进行资源利用率预测的模型，所述判别网络指用于判别策略网络拟合效果的模型。准备真实集群数据作为策略网络的学习目标。

步骤3-2，从策略网络进行预测资源利用率的采样，从真实集群数据进行真实资源利用率的采样。根据预测资源利用率和真实资源利用率之间的差异更新判别网络的参数，作为策略网络的损失函数。

所述步骤4中的误差计算方法为：

均方误差的计算方法为：

平均绝对误差的计算方法为：

其中n为预测的总样本数，U_S ⁽ⁱ⁾为预测的资源利用率，U_R ⁽ⁱ⁾为真实的资源利用率。

平均绝对误差的计算方法参考总体标准差的计算方法。计算开销的计算方法为统计预测算法完成一次预测所需的时间。如图3、图4、图5所示。

实施例：

如图2所示。实验在一个具有五台物理服务器的本地集群进行、每台服务器配有有两个4核Intel(R)Xeon(R)E5-2650处理器，四个GeForce RTX 2080Ti GPU，16GB内存，1TB磁盘空间，运行软件环境为Pycharm(2018.1.4),Python 3.6,Keras 2.3.1和TensorFlow2.2.0。

为了评估基于逆强化学习和LSTM神经网络的资源利用率预测器，用三个最好的算法进行比较，称为基于稀疏自编码器和递归神经网络的资源预测算法(L-PAW)，基于递归神经网络的资源预测算法(RNN)，和基于贝叶斯信息准则的资源预测算法(BIC-E)，下面对每个算法进行一个简要的描述。

L-PAW算法使用稀疏自编码器对资源利用率进行编码，然后输入递归神经网络进行学习

RNN算法将资源利用率输入递归神经网络进行学习

BIC-E算法基于贝叶斯信息准则选择最佳的统计学习方法对资源利用率进行预测

实验中使用的数据集阿里巴巴在2018年的集群运行数据集和谷歌在2011年的集群运行数据集。数据集包括每台机器的的资源分配信息，任务运行状态和资源使用情况，采样点的间隔为10秒。本实验主要使用每台机器各个时间点的任务使用情况和资源分配信息制作数据集，并使用本发明进行资源利用率预测。

步骤1，提取一段时间内各集群运行的真实数据，并进行数据预处理。所述数据预处理，包括数据分块，运行轨迹打包，预测环境设定等三部分。所述数据分块部分指按照集群运行数据的时间戳顺序，以设定的时间长度，将较长时间集群运行数据分为若干个连续时间段内的小段运行数据。所述设定的时间长度根据集群资源利用率预测的需求确定。所述运行轨迹打包部分指将包括任务运行信息和资源利用率信息打包为状态和动作等变量。所述预测环境设定指将状态动作序列设定为可交互预测环境。所述预测环境指与算法交互的环境，算法接受预测环境给定的状态，对当前状态做出动作，然后获取预测环境的反馈。

步骤2，使用LSTM神经网络对任务运行状态和资源利用率之间的关系进行编码。所述任务运行状态包括任务请求资源，开始时间，结束时间。资源利用率序列作为LSTM神经网络的输出，使用反向传播的方法进行神经网络的优化。此过程迭代训练多次，直到神经网络对于资源利用率的拟合完全收敛。然后，取出LSTM神经网络隐藏层的最后一层作为当前任务运行状态的编码。

步骤3，使用基于逆强化学习算法对真实资源利用率序列进行学习。所述逆强化学习算法，首先通过逆强化学习过程学习真实环境中的资源利用率代价函数，然后从代价函数进行强化学习，来生成资源利用率预测函数。所述资源利用率预测函数从集群状态映射到集群资源利用率，使得算法可以对真实集群的资源利用率进行预测，所述逆强化学习包括策略网络和判别网络两部分，所述策略网络用于预测资源利用率，输入任务运行状态，策略网络通过运算输出预测的资源利用率。判别网络用于评价策略网络预测的好坏，即输入任务运行状态和预测的资源利用率，判别网络通过运算输出对于该预测值好坏的判断，预测值越好，判别网络输出的值越大，预测值越差，判别网络输出的值越小。

步骤4，输入测试数据中的任务运行状态，使用策略网络生成的资源利用率预测函数进行预测，预测结果输出的资源利用率与测试数据中的资源利用率进行对比，统计计算开销和预测误差，预测误差包括均方误差，平均绝对误差，平均绝对误差的标准差。算法训练结束后，使用削峰填谷的方法进行资源利用率优化，即将任务调度至预测资源利用率较低的计算机。

所述步骤1包括：

步骤1-1，对阿里巴巴哥谷歌的原始数据进行分块提取：按照真实集群运行数据的时间戳顺序，以设定的时间长度，将大于一小时的集群运行数据分为两个以上连续时间段内的小段运行数据；所述设定的时间长度根据集群资源利用率预测的需求确定；

步骤1-2，将两个以上连续时间段内的小段运行数据打包成整段运行轨迹，具体地，将运行数据中的任务特征样本和资源利用率序列分别打包为状态变量和动作变量；

步骤1-3，将运行轨迹设定为能够交互的预测环境，所述预测环境指与算法交互的环境，算法接受预测环境给定的状态，对当前状态做出动作，然后获取预测环境的反馈。

所述步骤2包括：

步骤2-1，将任务特征样本输入LSTM神经网络，所述任务特征样本

的定义为：

其中

为t时刻正在运行的任务集合

LSTM神经网络的目标是过去m个时刻的资源利用率序列

步骤2-2，使用反向传播方法以

为拟合目标训练LSTM神经网络，迭代多次，直到LSTM神经网络训练目标与真实值相对误差小于百分之十，取出LSTM神经网络的最后一个隐藏层输出作为任务特征样本的编码。

所述步骤3包括：

步骤3-1，初始化策略网络和判别网络参数，所述策略网络指用于进行资源利用率预测的模型，所述判别网络指用于判别策略网络拟合效果的模型。准备真实集群数据作为策略网络的学习目标。

步骤3-2，从策略网络进行预测资源利用率的采样，从真实集群数据进行真实资源利用率的采样。根据预测资源利用率和真实资源利用率之间的差异更新判别网络的参数，作为策略网络的损失函数。

所述步骤4中的误差计算方法为：

均方误差的计算方法为：

平均绝对误差的计算方法为：

其中n为预测的总样本数，U_S ⁽ⁱ⁾为预测的资源利用率，U_R ⁽ⁱ⁾为真实的资源利用率。

平均绝对误差的计算方法参考总体标准差的计算方法。计算开销的计算方法为统计预测算法完成一次预测所需的时间。

实验结果表明，在预测长度较短时，本发明与现有技术相差不大，但是随着预测长度的增加，本发明的预测准确度和稳定性明显优于传统的资源利用率预测方法。

本发明与现有技术相比，其显著优点为：基于逆强化学习和LSTM神经网络的资源利用率预测方法，与资源利用率方法相比，在提高了预测准确率和稳定性的同时，可以在不提供输入的情况下进行资源利用率预测。

具体实现中，本发明还提供一种计算机存储介质，其中，该计算机存储介质可存储有程序，该程序执行时可包括本发明所述方法的各实施例中的部分或全部步骤。所述的存储介质可为磁碟、光盘、只读存储记忆体(英文：read-only memory，简称：ROM)或随机存储记忆体(英文：random access memory，简称：RAM)等。

本发明提供了一种计算机资源利用率优化方法，具体实现该技术方案的方法和途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。

Claims (4)

1.一种计算机资源利用率优化方法，其特征在于，包括如下步骤：

步骤1，提取一段时间内集群运行的真实数据，并进行数据预处理；

步骤2，使用LSTM神经网络对任务特征样本和资源利用率之间的关系进行编码；

步骤3，使用基于逆强化学习算法对真实集群运行数据资源利用率序列进行学习，生成资源利用率预测函数，所述逆强化学习算法包括策略网络和判别网络两部分，所述策略网络用于预测资源利用率，所述判别网络用于评价策略网络预测的好坏；

步骤4，输入测试数据中的任务运行状态，使用资源利用率预测函数进行预测，将预测的资源利用率与测试数据中的资源利用率进行对比，统计计算开销和预测误差，预测误差包括均方误差，平均绝对误差，平均绝对误差的标准差；预测结束后，使用削峰填谷的方法将任务调度至预测资源利用率低于百分之五十的计算机，从而对计算机资源利用率进行优化；

步骤1包括：

步骤1-1，对原始数据进行分块提取：按照真实集群运行数据的时间戳顺序，以设定的时间长度，将大于一小时的集群运行数据分为两个以上连续时间段内的小段运行数据；所述设定的时间长度根据集群资源利用率预测的需求确定；

步骤1-2，将两个以上连续时间段内的小段运行数据打包成整段运行轨迹，具体地，将运行数据中的任务特征样本和资源利用率序列分别打包为状态变量和动作变量；

步骤1-3，将运行轨迹设定为能够交互的预测环境，所述预测环境指与算法交互的环境，算法接受预测环境给定的状态，对当前状态做出动作，然后获取预测环境的反馈；

步骤1-2中，状态变量

的定义为：

其中i为机器编号，t为当前时刻，m为状态变量中包含的历史数据长度，

为t-m到t-1时刻第i台机器上的任务运行状态，

为t-m到t-1时刻第i台机器的真实资源利用率；

动作变量

的定义为：

其中

为t时刻机器i的预测资源利用率。

2.根据权利要求1所述的方法，其特征在于，所述步骤2包括：

步骤2-1，将任务特征样本输入LSTM神经网络，所述任务特征样本

的定义为：

其中

为t时刻正在运行的任务集合：

其中task₁,task₂表示不同的两个任务；

LSTM神经网络的训练目标是过去m个时刻的资源利用率序列

步骤2-2，使用反向传播方法以

为拟合目标训练LSTM神经网络，迭代两次以上，直到LSTM神经网络训练目标与真实值相对误差小于百分之十，取出LSTM神经网络的最后一个隐藏层输出作为任务特征样本的编码。

3.根据权利要求2所述的方法，其特征在于，步骤3包括：

步骤3-1，初始化策略网络和判别网络的参数，所述策略网络指用于进行资源利用率预测的模型，所述判别网络指用于判别策略网络拟合效果的模型；准备真实集群数据作为策略网络的学习目标；

步骤3-2，从策略网络进行预测资源利用率的采样，从真实集群数据进行真实资源利用率的采样，根据预测资源利用率和真实资源利用率之间的误差使用梯度下降方法更新判别网络的参数，作为策略网络的代价函数；

步骤3-3，使用强化学习方法训练策略网络，直到策略网络收敛，从而生成资源利用率预测函数。

4.根据权利要求3所述的方法，其特征在于，步骤4的误差计算方法为：

均方误差MSE的计算方法为：

平均绝对误差MAE的计算方法为：

其中n为预测的总样本数，U_s ⁽ⁱ⁾为预测的资源利用率，U_R ⁽ⁱ⁾为真实的资源利用率。

Images