CN114938372B - 一种基于联邦学习的微网群请求动态迁移调度方法及装置 - Google Patents

Abstract

本发明公开了一种基于联邦学习的微网群请求动态迁移调度方法及装置，包括：对包括微网群设备和边缘计算设备的微网群系统进行初始化；各个微网群设备利用深度强化学习方法并基于本地历史运行数据对本地学习模型进行训练，并将训练后的模型参数和本地训练次数发送边缘计算设备；边缘计算设备基于本地训练次数对接收到的模型参数进行聚合以更新请求评估模型，并将更新后的请求评估模型发送各微网群设备；微网群设备根据更新后的请求评估模型，在请求调度决策时以最大化长期效益期望为目标预测资源分配策略，资源分配策略包括请求迁移决策和资源单元数量决策。本发明可以在节省传输开销保证了数据隐私与安全的同时，也还确保了决策的准确高效。

Description

一种基于联邦学习的微网群请求动态迁移调度方法及装置

技术领域

本发明属于计算机网络技术领域，具体涉及一种基于联邦学习的微网群请求动态迁移调度方法及装置。

背景技术

作为单个微网的丰富扩展，微网群由地理位置毗邻的多个微网互相联结而成，它作为一个可以调度的自立的整体，可以实现离网与并网运行，成功解决单个微网存在的抗扰动能力差、工作能力有限等缺点。信息交互、功率传输广泛存在于微网群之间，各微网在不同运行状态下使得集群呈现多样的运行模式。在特点上，微网群能贯穿能源运营、供应、消费等不同环节，并且具备利益主体多元化的特点。面对微网集群复杂的环境，微网群运营主体需要通过部署大量的微网设备来协同控制协调各微网主体的利益。这些分布在微网集群中的各式异构微网设备在给通信网络带来巨大考验的同时，其对网络环境、数据安全隐私保护等也提出了新的挑战。为了应对这些新的挑战，边缘计算技术被引入其中。通过该技术，微网集群设备之间的通信得以更好地协调，并可以将某处微网中的部分请求动态迁移到微网群中的其他微网中。不过，在这样的模式下微网群依旧存在不少问题，如何更好地调度请求以达到对资源的合理利用，并且加强数据隐私安全方面的保护已经成为一个亟待解决的挑战。

在处理微网群请求调度资源分配问题时，使用凸优化、博弈论等方法存着诸如需要获取全局信息而造成的数据泄露，无法适应复杂高度变化的微网群环境，以及无法综合考虑系统长期利益来综合决策等问题。单纯使用深度强化学习虽然能解决上述不足，但是由于各微网群中微网设备算力不足，只能支撑轻量级的神经网络。当今，随着数据安全和隐私得到了更多人的重视，对数据隐私的保护已经成为一个迫切且重要的问题。传统的分布式训练虽然一定程度上缓和了微网群中微网设备的算力不足问题，但是其需要较为频繁地传输大量数据到其它设备，一方面会对网络环境的质量要求较高，产生大量的传输成本，一方面在训练时间上不尽人意，同时也会导致数据隐私的泄露等问题的发生。因此，如何在微网群中微网设备算力受限的基础上高效地利用数据，减少传输成本且同时保障数据隐私与安全是目前处理微网群请求调度资源分配问题的重要挑战。

发明内容

针对以上问题，本发明提出了一种基于联邦学习的微网群请求动态迁移调度方法及装置，通过在基于边缘计算的微群网场景中应用联邦学习的分布式训练方法指导微网群系统各个微网设备上的深度强化学习代理，实现在保护数据隐私的同时动态迁移调度微网群场景下的请求，解决了传统方法带来巨大的流量负载压力、较高的传输时延、数据隐私泄露等问题。为解决以上技术问题，本发明所采用的技术方案如下：

一种基于联邦学习的微网群请求动态迁移调度方法，包括如下步骤：

S1，对边缘计算支持下的微网群系统进行初始化，所述微网群系统包括微网群设备和边缘计算设备的微网群系统；

S2，各个微网群设备利用深度强化学习方法并基于本地历史运行数据对本地学习模型进行训练，并将训练后的本地学习模型参数和本地训练次数上传到边缘计算设备n′；

S3，边缘计算设备基于本地训练次数对接收到的本地学习模型参数进行聚合以更新请求评估模型，并将更新后的请求评估模型分发各微网群设备；

S4，微网群设备根据更新后的请求评估模型，在请求调度决策时以最大化长期效益期望为目标预测资源分配策略，所述资源分配策略包括请求迁移决策和资源单元数量决策；

S5，当微网群设备数量变化时，边缘计算设备n′对请求评估模型的模型参数进行更新。

所述步骤S2包括如下步骤：

S2.1，各微网群设备取出各自记忆存储单元中的本地历史运行数据；

所述本地历史运行数据的表达式为：

(s，a，r，s′)；

式中，s表示当前环境下的状态观测值，包括边缘计算设备n′的请求处理队列的当前队列长度、边缘计算设备n′的资源序列中的剩余资源单元、当前请求所需的CPU频率、自身网络连接状态，a表示动作，也即请求迁移决策和资源单元数量决策，r表示执行动作a后的奖励，s′表示新环境下的状态观测值；

S2.2，使用均方差定义损失函数，损失函数的公式为：

L(w)＝E[(R+γ·max_a′Q(s′，a′，w′)-Q(s，a，w))²]；

式中，L(w)表示损失函数，R表示回报，也即奖励r的衰减累加，γ表示衰减系数，Q(s，a，w)表示训练所用的参数w的神经网络预测的Q值，max_a′Q(s′，a′，w′)表示神经网络参数更新为w′时的状态s的下一状态s′基于动作a′的最大Q值

S2.3，微网群设备利用DQN算法进行本地学习模型的训练，同时使用梯度下降法更新神经网络的参数w以获得最佳Q值；

S2.4，微网群设备将更新后的本地学习模型的参数以及本地训练的次数上传至边缘计算设备n′。

所述步骤S3包括如下步骤：

S3.1，边缘计算设备n′对每个微网群设备的本地训练次数分别进行统计；

S3.2，边缘计算设备n′根据统计后的本地训练次数对接收到的模型参数进行聚合；

式中，α_t+1表示第t轮聚合后的请求评估模型，

表示t轮时微网群设备m在当前t轮周期内训练的次数，H_t表示M个微网群设备的在当前t轮周期内训练次数的加和，

表示第t轮训练后本地学习模型的参数，t表示训练的周期轮数，P_t表示第t轮聚合时随机抽取的微网群设备的集合；

S3.3，边缘计算设备n′将步骤S3.2聚合后得到的请求评估模型分发给各微网群设备。

在步骤S4中，所述最大化长期效益期望的表达式为：

式中，

表示最大化长期效益期望，I表示时间片的总数，g(·)表示i时间片下的直接效用，V₁表示初始网络状态变量，V表示初始网络状态的值，Φ(Vi)表示网络状态V_i的决策函数，

表示网络状态的集合；

所述网络状态V_i的表达式为：

式中，

表示i时间片下的请求处理队列，

表示i时间片下的资源序列，s_i表示i时间片下微网群设备与边缘计算设备的连接关系，g_i表示i时间片下的信道增益，

表示信道增益集合。

i时间片下的直接效用g(V_i，Φ(V_i))的计算公式为：

式中，w₁表示请求执行延迟d_i的权重，w₂表示请求排队延迟c_i的权重，w₃表示请求丢弃数η_i的权重，w₄表示占用边缘设备花销φ_i的权重；

所述请求执行延迟d_i的计算公式为：

式中，

表示i时间片下本地执行请求的时间消耗，h_i表示i时间片下的切换延迟，

表示i时间片下请求从本地传输到对应的边缘计算设备的时间开销，v表示请求卸载到边缘计算设备执行时所产生的延迟，μ_i表示资源单元数量决策，x_i表示请求迁移决策，

表示边缘计算设备的集合。

所述i时间片下请求从本地传输到对应的边缘计算设备的时间开销

的计算公式为：

式中，r_i表示i时间片下的数据传输速率，α表示加载请求所需要传输的数据大小；

所述i时间片下的数据传输速率r_i的计算公式为：

式中，

表示i时间片下微网群设备与边缘计算设备的信道增益，

表示i时间片下的传输功率，I表示干扰与噪声的功率和，Z表示信道带宽。

所述占用边缘设备花销φ_i的计算公式为：

式中，η表示时间片的持续时长，v表示连接切换延迟，π表示占用边缘计算设备单位时间的价格。

所述请求排队延迟c_i的计算公式为：

式中，

表示i时间片下的请求处理队列。

所述请求丢弃数η_i的计算公式为：

式中，

表示i时间片下的请求处理队列，

表示i时间片下的产生的请求数量，

表示请求处理队列的最大长度，η表示时间片的持续时长。

一种基于联邦学习的微网群请求动态迁移调度装置，包括边缘计算设备和微网群设备，微网群设备上设有本地训练模块和策略生成模块，边缘计算设备上设有边缘聚合模块；

本地训练模块，用于接收边缘计算设备n′所发送的请求评估模型参数，基于深度强化学习方法结合本地历史运行数据进行本地学习模型的训练，并将训练后的本地学习模型参数和本地训练次数发送给边缘计算设备n′；

边缘聚合模块，用于接收本地学习模型参数和本地训练次数，根据各个微网群设备的本地训练次数对本地学习模型参数进行聚合以更新请求评估模型，并将更新后的请求评估模型发送到微网群设备；

策略生成模块，用于根据更新后的请求评估模型，并以最大化长期效益期望为目标生成请求迁移决策和资源单元数量决策。

本发明的有益效果：

在微网群的场景下用微网群设备的训练模型参数代替原始数据进行传输，边缘计算设备再进一步聚合模型参数，从而达到减轻单一设备上的训练压力并同时保障数据的隐私安全；结合深度强化学习与联邦训练实现的请求动态迁移调度策略，在大大节省传输开销保证了数据的隐私与安全的同时，也做到了微网群在决策上的准确高效。另外，本发明考虑了用户对算法优化目标的不同需求，提供了通过权重参数调整的接口来允许对不同的目标进行定制化设计，例如如果更注重请求运行的总延迟，则可以提升请求排队延迟和请求执行延迟的权重。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为微网群系统的架构示意图。

图2为不同请求处理策略的对比图。

图3为本发明的训练示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

边缘计算(Edge Computing)：边缘计算一般是将边缘节点分布式地部署到各个区域，从而可就近为用户提供一系列如计算、存储、网络等方面的服务。凭借边缘节点在地理位置上的优势，可以大大缩短用户与服务设备之间因为网络通信产生的时延。又因为边缘节点可以在本地对用户的请求提供服务，这大大减轻了云端服务供给的压力，从而缓和了主干网的流量压力并且同时保障了数据隐私的安全。考虑到用户一侧的终端具有多元化的特点，类似于计算密集型等任务一般无法在其本身设备上执行，这时便可将这类型的任务交给资源比终端更为丰富的边缘节点来处理。且又由于边缘节点在地理位置上与其服务的终端用户较为靠近，其响应速度会比将任务交由云中心处理更为快速。通过边缘计算技术，可以达到在保证任务顺利完成的同时尽可能减少通信时延。

深度强化学习(Deep Reinforcement Learning)：强化学习通过采取对多类不同动作的决策进行尝试，并结合具体动作带来的奖励情况来动态调整之后的决策。深度学习是一种通过构建神经网络来对数据信息进行表征的方式。深度强化学习通过将强化学习与深度学习的高维输入相融合成功解决了单一强化学习无法处理高维度数据问题，并保留了强化学习出色的决策能力和深度学习强大的感知能力，目前已经在计算机视觉、商业管理、自然语言处理、游戏等各个领域大放光彩。

联邦学习(Federated Learning)：联邦学习通过对局部自治体模型、梯度信息进行加密与封装后整合训练并进一步学习，从而达到在保护数据隐私安全的同时进行全局优化。联邦学习也称共享学习，它在对训练模型进行汇聚的过程中无需获取各本地设备上的原始数据，而是将各个微网设备的训练模型在加密和封装处理以后进行参数上的交换，从而也起到数据隐私保护的效果。不同的微网群可以借助联邦学习的架构共享加密封装处理完的模型，并且进一步结合整个联邦学习中有效的数据信息来提升各微网训练模型的决策表现。

一种基于联邦学习的微网群请求动态迁移调度方法，如图3所示，包括如下步骤：

S1，对边缘计算支持下的微网群系统进行初始化，所述微网群系统包括微网群设备和边缘计算设备，包括如下步骤：

S1-1，构建包括微网群设备和边缘计算设备的微网群系统；

S1.2，对微网群设备的本地学习模型以及边缘计算设备n′的请求评估模型的聚合权重进行初始化。

如图1所示，所述微网群设备是由智能电网中的各智能体设备组成，微网群设备的集合采用

表示，

边缘计算设备的集合采用

表示，

且

具体地，可以采用集合

中计算能力最强的边缘计算设备也即边缘计算设备n′，实现请求评估模型的聚合更新。微网群设备生成的请求任务，以下简称请求，其采用(α，β)表示，α表示加载请求所需要传输的数据大小，β则表示处理请求所需要的CPU周期数，微网群系统中采用请求处理队列以先进先出暂存待处理的请求，当请求处理队列已满时，队列将无法保存新生成的请求，请求处理队列的最大长度采用

表示，资源序列用于保存资源单元，资源序列的最大长度采用

表示。本申请采用时间片的概念将时间划分为以i为索引的多个阶段，每个阶段的持续时长均为η秒。

如图2所示，对于微网群设备所产生的请求由两种处理方式：选择在该微网群设备本地执行，从而避免由传输数据带来的额外延迟；迁移到信道带宽为Z的边缘计算设备也即边缘节点上，借助其更为丰富资源和算力处理请求。微网群系统需要在i时间片进行决策，通过请求评估模型生成包括请求迁移决策和资源单元数量决策的资源分配策略，进而决定采用哪种处理方式处理请求。资源单元数量决策采用μ_i表示，当μ_i＝0，请求将滞留在请求处理队列中，当μ_i>0，请求被正常执行，请求被正常执行时，微网群系统所分配的资源单元数量会对微网群系统传输数据的速率和CPU频率产生影响。所述请求迁移决策采用x_i表示，其表达式如下：

S2，各个微网群设备从各自的记忆存储单元中取出本地历史运行数据，利用深度强化学习方法对本地学习模型进行训练，并将训练后的本地学习模型参数和本地训练次数上传到边缘计算设备n′，包括如下步骤：

S2.1，微网群设备取出记忆存储单元中的本地历史运行数据；

所述本地历史运行数据采用如下表示：

(s，a，r，s′)；(2)

式中，s表示当前环境下的状态观测值，包括请求处理队列的当前队列长度、资源序列中的剩余资源单元、当前请求所需的CPU频率、自身网络连接状态，a表示动作，也即请求迁移决策和资源单元数量决策，r表示执行动作a后的奖励，s′表示新环境下的状态观测值。

S2.2，使用均方差定义训练所使用的损失函数；

L(w)＝E[(R+γ·max_a′Q(s′，a′，w′)-Q(s，a，w))²]；(4)

式中，L(w)表示损失函数，R表示回报，也即奖励r的衰减累加，γ表示衰减系数，max_a′Q(s′，a′，w′)表示神经网络更新后的参数为w′的神经网络状态s的下一状态s′下基于动作a′的最大Q值。

S2.3，微网群设备利用DQN算法进行本地学习模型的训练，并同步使用梯度下降法更新神经网络的参数w以获得最佳Q值；

模型训练的过程中DQN利用一个参数为w的神经网络作为Q值进行相似计算，对应的表达式为：

Q(s，a，w)≈Q^π(s，a)；(3)

式中，Q^π(s，a)表示价值函数，为状态s下基于策略π采用动作a时的Q值，Q(s，a，w)表示由参数w的神经网络预测的Q值。

使用梯度下降法更新神经网络的参数w的公式为：

S2.4，微网群设备将更新后的本地学习模型的参数以及本地训练的次数上传至边缘计算设备n′。

S3，微网群设备基于本地训练次数对接收到的本地学习模型参数进行聚合更新请求评估模型，并将更新后的模型权重和更新后的请求评估模型分发到微网群设备上，包括如下步骤：

S3.1，边缘计算设备n′对每个微网群设备的本地训练次数分别进行统计；

S3.2，边缘计算设备n′根据统计后本地训练次数对接收到的模型参数进行聚合；

式中，α_t+1表示第t轮聚合后的请求评估模型，

表示t轮时微网群设备m在当前t轮周期内训练的次数，H_t表示M个微网群设备的在当前t轮周期内训练次数的加和，

表示第t轮训练后本地学习模型的参数，t表示训练的周期轮数，P_t表示第t轮聚合时随机抽取的微网群设备的集合。

具体地，生成请求评估模型时采用多轮训练机制，对于微网群设备集合P_t中的每一个设备m提交的本地模型参数

使用本地训练次数占总次数的比例

为权重进行加权求和，加权求和结果α_t+1即为聚合后的模型参数。

S3.3，边缘计算设备n′将步骤S3.2聚合后得到的请求评估模型分发给各微网群设备。

S4，微网群设备根据更新后的请求评估模型，在请求调度决策时以最大化长期效益期望为目标预测资源分配策略，所述资源分配策略包括请求迁移决策和资源单元数量决策；

所述最大化长期效益期望的表达式为：

式中，

表示最大化长期效益期望，I表示时间片的总数，g(·)表示i时间片下的直接效用，V₁表示初始网络状态变量，V表示初始网络状态的值，Φ(V_i)表示网络状态V_i的决策函数，

表示网络状态的集合。

所述网络状态V_i的表达式为：

式中，

表示i时间片下的请求处理队列，

表示i时间片下的资源序列，s_i表示i时间片下微网群设备与边缘计算设备的连接关系，g_i表示i时间片下的信道增益，

表示信道增益集合。

在每个时间片下，当有请求被取出或生成时，请求处理队列会进行更新，更新后的请求处理队列的表达式为：

式中，d_i表示请求执行延迟，

表示i时间片下的产生的请求数量，在每一时间片时按照伯努利分布随机产生，

表示i+1时间片下的请求处理队列。

同样地，在每个时间片下，资源序列也会进行更新，更新后的资源序列的表达式为：

式中，

表示i+1时间片下的资源序列，

表示i时间片下微网群设备获取的资源单元数量，在每一时间片按照泊松分布随机产生。

所述i时间片下微网群设备与边缘计算设备的连接关系s_i可表示为：

式中，x_i-1表示i-1时间片下请求迁移的决策，s_i-1表示i-1时间片下微网群设备与边缘计算设备的连接关系。

所述i时间片下的直接效用由请求执行延迟d_i、请求丢弃数η_i、请求排队延迟c_i和占用边缘设备花销φ_i几项指标共同决定，可以针对不同的目标进行定制化设计，例如：如果系统更注重请求运行的总延迟，则可以提升请求排队延迟c_i和请求执行延迟d_i的权重，进而提高其在整个效用中的比例。作为对资源分配策略性能的评价，其表达式为：

式中，w₁表示请求执行延迟d_i的权重，w₂表示请求排队延迟c_i的权重，w₃表示请求丢弃数η_i的权重，w₄表示占用边缘设备花销φ_i的权重。w₁、w₂、w₃、w₄为目标设备也即发出请求的设备对不同指标的需求偏好权重，取值由目标设备的设备类型以及所搭载的应用服务决定。

所述请求执行延迟d_i的计算公式为：

式中，d_i表示i时间片下请求的运行时延，

表示i时间片下本地执行请求的时间消耗，h_i表示i时间片下的切换延迟，

表示i时间片下请求从本地传输到对应的边缘计算设备的时间开销，v表示请求卸载到边缘计算设备执行时所产生的延迟。

所述i时间片下的切换延迟h_i的表达式为：

式中，δ表示连接切换延迟，s_i表示i时间片下微网群设备与边缘计算设备的连接关系。

所述i时间片下本地执行请求的时间消耗

的计算公式为：

式中，f_i表示i时间片下微网群系统分配的CPU频率。

所述i时间片下微网群系统分配的CPU频率f_i的计算公式为：

式中，τ为常数，取决于芯片结构，F表示微网群设备CPU芯片的最大频率。

所述i时间片下请求从本地传输到对应的边缘计算设备的时间开销

的计算公式为：

式中，r_i表示i时间片下的数据传输速率。

所述i时间片下的数据传输速率r_i的计算公式为：

式中，

表示i时间片下微网群设备与边缘计算设备的信道增益，

表示i时间片下的传输功率，I表示干扰与噪声的功率和，Z表示信道带宽。

所述i时间片下的传输功率

的计算公式为：

式中，

表示最大传输功率。

根据式(14)、式(15)、式(16)可得，最小传输时间满足：

式中，

表示i时间片下请求迁移决策c_i所对应的信道增益，

表示i时间片下的最小传输时间。

由于边缘计算设备计算资源的有限性，对边缘计算设备不应过度使用，本申请进一步定义了占用边缘计算设备所需的花销来避免对边缘计算设备的过度使用，定义π∈R₊作为占用边缘计算设备单位时间的价格，其中，R₊表示正实数集合，占用边缘设备花销φ_i的计算公式为：

所述请求排队延迟c_i的计算公式为：

由于当请求处理队列已满时，会使新产生的请求无法存入请求处理队列，从而导致请求丢失，请求丢弃数η_i的计算公式为：

所述资源分配策略的表达式为：

式中，

表示资源分配策略集合。

S5，当微网群设备数量变化时，边缘计算设备n′根据变化后的数量对请求评估模型的模型参数进行更新或分享，包括：

微网群系统中新加入微网群设备I_u时，当微网群设备I_u连接至边缘计算设备n′调度请求时，边缘设备会先将模型参数发送到微网群设备；

W_u＝W_e；(26)

式中，W_u表示新加入的微网群设备I_u的模型参数，W_e表示边缘计算设备n′的请求评估模型的模型参数。

微网群设备I_u准备停机更新维护时，将其模型参数发送到边缘计算设备n′，边缘计算设备n′对请求评估模型的模型参数进行更新；

W_e＝W_e·(1-p_w)+W_u·p_w；(27)

式中，p_w表示边缘计算设备n′的请求评估模型的学习率，W_u表示准备停机更新维护的微网群设备I_u的模型参数。

本申请实施例还提供一种基于联邦学习的微网群请求动态迁移调度装置，包括边缘计算设备和微网群设备，微网群设备上设有本地训练模块和策略生成模块，边缘计算设备上设有边缘聚合模块；

本地训练模块，用于接收边缘计算设备n′所发送的请求评估模型参数，基于深度强化学习方法结合本地历史运行数据进行本地学习模型的训练，并将训练后的本地学习模型参数和本地训练次数发送给边缘计算设备n′；

边缘聚合模块，用于接收本地学习模型参数和本地训练次数，根据各个微网群设备的本地训练次数对本地学习模型参数进行聚合以更新请求评估模型，并将更新后的请求评估模型发送到微网群设备；

策略生成模块，用于根据更新后的请求评估模型，并以最大化长期效益期望为目标生成请求迁移决策和资源单元数量决策。

本申请实施例还提供一种电子设备，所述电子设备包括处理器和存储器，所述存储器存储有计算机程序，所述计算机程序被处理器执行时，实现如上所述的基于联邦学习的微网群请求动态迁移调度方法。

本申请实施例还提供一种计算机可读存储介质，其存储有计算机程序，所述计算机程序被处理器执行时，实现如上所述的基于联邦学习的微网群请求动态迁移调度方法。具体地，该存储介质可以为通用的存储介质，如移动磁盘、硬盘等，该存储介质上的计算机程序被运行时，能够执行上述基于联邦学习的微网群请求动态迁移调度方法的实施例。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于联邦学习的微网群请求动态迁移调度方法，其特征在于，包括如下步骤：

S1，对边缘计算支持下的微网群系统进行初始化，所述微网群系统包括微网群设备和边缘计算设备；

S2，各个微网群设备利用深度强化学习方法并基于本地历史运行数据对本地学习模型进行训练，并将训练后的本地学习模型参数和本地训练次数上传到边缘计算设备n′；

S3，边缘计算设备n′基于本地训练次数对接收到的本地学习模型参数进行聚合更新请求评估模型，并将更新后的请求评估模型分发各微网群设备；

S4，微网群设备根据更新后的请求评估模型，在请求调度决策时以最大化长期效益期望为目标预测资源分配策略，所述资源分配策略包括请求迁移决策和资源单元数量决策；

S5，当微网群设备数量变化时，边缘计算设备n′对请求评估模型的模型参数进行更新。

2.根据权利要求1所述的基于联邦学习的微网群请求动态迁移调度方法，其特征在于，所述步骤S2包括如下步骤：

S2.1，各微网群设备取出各自记忆存储单元中的本地历史运行数据；

所述本地历史运行数据的表达式为：

(s，a，r，s′)；

式中，s表示当前环境下的状态观测值，包括边缘计算设备n′的请求处理队列的当前队列长度、边缘计算设备n′的资源序列中的剩余资源单元、当前请求所需的CPU频率、自身网络连接状态，a表示动作，也即请求迁移决策和资源单元数量决策，r表示执行动作a后的奖励，s′表示新环境下的状态观测值；

S2.2，使用均方差定义损失函数，损失函数的公式为：

L(w)＝E[(R+γ·max_a′Q(s′，a′，w′)-Q(s，a，w))²]；

式中，L(w)表示损失函数，R表示回报，也即奖励r的衰减累加，γ表示衰减系数，Q(s，a，w)表示训练所用的参数w的神经网络预测的Q值，max_a′Q(s′，a′，w′)表示神经网络参数更新为w′时的状态s的下一状态s′基于动作a′的最大Q值；

S2.3，微网群设备利用DQN算法进行本地学习模型的训练，同时使用梯度下降法更新神经网络的参数w以获得最佳Q值；

S2.4，微网群设备将更新后的本地学习模型的参数以及本地训练的次数上传至边缘计算设备n′。

3.根据权利要求1所述的微网群请求动态迁移调度方法，其特征在于，所述步骤S3包括如下步骤：

S3.1，边缘计算设备n′对每个微网群设备的本地训练次数分别进行统计；

S3.2，边缘计算设备n′根据统计后本地训练次数对接收到的模型参数进行聚合；

式中，α_t+1表示第t轮聚合后的请求评估模型，

表示t轮时微网群设备m在当前t轮周期内训练的次数，H_t表示M个微网群设备在当前t轮周期内训练次数的加和，

表示第t轮训练后微网群设备m的本地学习模型的参数，t表示训练的周期轮数，P_t表示第t轮聚合时随机抽取的微网群设备的集合；

S3.3，边缘计算设备n′将步骤S3.2聚合后得到的请求评估模型分发给各微网群设备。

4.根据权利要求1所述的基于联邦学习的微网群请求动态迁移调度方法，其特征在于，在步骤S4中，所述最大化长期效益期望的表达式为：

式中，

表示最大化长期效益期望，I表示时间片的总数，g(·)表示i时间片下的直接效用，V₁表示初始网络状态变量，V表示初始网络状态的值，Φ(V_i)表示网络状态V_i的决策函数，

表示网络状态的集合；

所述网络状态V_i的表达式为：

式中，

表示i时间片下的请求处理队列，

表示i时间片下的资源序列，s_i表示i时间片下微网群设备与边缘计算设备的连接关系，g_i表示i时间片下的信道增益，

表示信道增益集合。

5.根据权利要求4所述的基于联邦学习的微网群请求动态迁移调度方法，其特征在于，i时间片下的直接效用g(V_i，Φ(V_i))的计算公式为：

式中，w₁表示请求执行延迟d_i的权重，w₂表示请求排队延迟c_i的权重，w₃表示请求丢弃数η_i的权重，w₄表示占用边缘设备花销φ_i的权重；

所述请求执行延迟d_i的计算公式为：

式中，

表示i时间片下本地执行请求的时间消耗，h_i表示i时间片下的切换延迟，

表示i时间片下请求从本地传输到对应的边缘计算设备的时间开销，v表示请求卸载到边缘计算设备执行时所产生的延迟，μ_i表示资源单元数量决策，x_i表示请求迁移决策，

表示边缘计算设备的集合。

6.根据权利要求5所述的基于联邦学习的微网群请求动态迁移调度方法，其特征在于，所述i时间片下请求从本地传输到对应的边缘计算设备的时间开销

的计算公式为：

式中，r_i表示i时间片下的数据传输速率，α表示加载请求所需要传输的数据大小；

所述i时间片下的数据传输速率r_i的计算公式为：

式中，

表示i时间片下微网群设备与边缘计算设备的信道增益，

表示i时间片下的传输功率，I表示干扰与噪声的功率和，Z表示信道带宽。

7.根据权利要求5所述的基于联邦学习的微网群请求动态迁移调度方法，其特征在于，所述占用边缘设备花销φ_i的计算公式为：

式中，η表示时间片的持续时长，v表示连接切换延迟，π表示占用边缘计算设备单位时间的价格。

8.根据权利要求5所述的基于联邦学习的微网群请求动态迁移调度方法，其特征在于，所述请求排队延迟c_i的计算公式为：

式中，

表示i时间片下的请求处理队列。

9.根据权利要求5所述的基于联邦学习的微网群请求动态迁移调度方法，其特征在于，所述请求丢弃数η_i的计算公式为：

式中，

表示i时间片下的请求处理队列，

表示i时间片下的产生的请求数量，

表示请求处理队列的最大长度，η表示时间片的持续时长。

10.一种基于联邦学习的微网群请求动态迁移调度装置，其特征在于，包括边缘计算设备和微网群设备，微网群设备上设有本地训练模块和策略生成模块，边缘计算设备上设有边缘聚合模块；

本地训练模块，用于接收边缘计算设备n′所发送的请求评估模型参数，基于深度强化学习方法结合本地历史运行数据进行本地学习模型的训练，并将训练后的本地学习模型参数和本地训练次数发送给边缘计算设备n′；

边缘聚合模块，用于接收本地学习模型参数和本地训练次数，根据各个微网群设备的本地训练次数对本地学习模型参数进行聚合以更新请求评估模型，并将更新后的请求评估模型发送到微网群设备；

策略生成模块，用于根据更新后的请求评估模型，并以最大化长期效益期望为目标生成请求迁移决策和资源单元数量决策。

Images