[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN115473896A - 基于dqn算法的电力物联网卸载策略和资源配置优化方法 - Google Patents

基于dqn算法的电力物联网卸载策略和资源配置优化方法 Download PDF

Info

Publication number
CN115473896A
CN115473896A CN202211116361.3A CN202211116361A CN115473896A CN 115473896 A CN115473896 A CN 115473896A CN 202211116361 A CN202211116361 A CN 202211116361A CN 115473896 A CN115473896 A CN 115473896A
Authority
CN
China
Prior art keywords
user equipment
task
calculating
time delay
dqn
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211116361.3A
Other languages
English (en)
Other versions
CN115473896B (zh
Inventor
王真
姚楠
刘子全
路永玲
胡成博
杨景刚
张国江
付慧
薛海
朱雪琼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Jiangsu Electric Power Co Ltd
Electric Power Research Institute of State Grid Jiangsu Electric Power Co Ltd
Original Assignee
State Grid Jiangsu Electric Power Co Ltd
Electric Power Research Institute of State Grid Jiangsu Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Jiangsu Electric Power Co Ltd, Electric Power Research Institute of State Grid Jiangsu Electric Power Co Ltd filed Critical State Grid Jiangsu Electric Power Co Ltd
Priority to CN202211116361.3A priority Critical patent/CN115473896B/zh
Publication of CN115473896A publication Critical patent/CN115473896A/zh
Application granted granted Critical
Publication of CN115473896B publication Critical patent/CN115473896B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/145—Network analysis or design involving simulating, designing, planning or modelling of a network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/104—Peer-to-peer [P2P] networks
    • H04L67/1074—Peer-to-peer [P2P] networks for supporting data block transmission mechanisms

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

本发明公开了一种基于DQN算法的电力物联网卸载策略和资源配置优化方法，包括：S1、构建DQN模型，设置DQN模型所需参数以及设备参数；所述设备包括用户设备、MEC服务器、云端服务器；S2、初始化DQN模型的动作为任务在用户设备执行、任务在MEC服务器执行与任务在云端服务器执行；S3、计算每一个用户设备的计算任务分别卸载到用户设备执行、MEC服务器执行、云端服务器执行的时延和功耗；S4、利用计算的时延和功耗训练所述DQN模型，并利用训练后的DQN模型确定任务卸载策略和资源配置。本发明考虑了时延、能耗和资源配置等因素，高级计算任务优先处理策略和计算资源优化分配，使得时延、能耗均较低，本发明能够更有效的实现云边协同卸载策略和资源配置优化。

Description

基于DQN算法的电力物联网卸载策略和资源配置优化方法
技术领域
本发明涉及电力物联网的边缘计算任务卸载技术领域，特别涉及一种基于DQN算法的电力物联网卸载策略和资源配置优化方法。
背景技术
电力物联网是物联网在智能电网中的应用，有效整合通信和电力系统基础设施资源。一方面，智能电网通信系统要求低延迟和可靠性；另一方面，输电线路在线实时监测要求数据传输的低能耗和实时性。云计算可满足大量数据处理与计算，但由于传输延时无法满足低延时和实时性的要求。边缘计算(Mobile edge computing，MEC)克服了云计算的缺点，能够提供低能耗、低时延计算能力，满足智能电网新兴应用服务的需求。
如图1所示，用户设备将计算任务以无线基站传输至云端和MEC服务器，计算结果传输至用户设备，实现次任务卸载操作。在具有大量卸载任务时，优化卸载决策和资源分配来降低能耗或时延成本是实现高效任务卸载的关键。
发明内容
本发明要解决的技术问题是提供一种可行性高、简单高效的基于DQN算法的电力物联网卸载策略和资源配置优化方法。
为了解决上述问题，本发明提供了一种基于DQN算法的电力物联网卸载策略和资源配置优化方法，其包括以下步骤：
S1、构建DQN模型，设置DQN模型所需参数以及设备参数；所述设备包括用户设备、MEC服务器、云端服务器；
S2、初始化DQN模型的动作为任务在用户设备执行、任务在MEC服务器执行与任务在云端服务器执行；
S3、计算每一个用户设备的计算任务分别卸载到用户设备执行、MEC服务器执行、云端服务器执行的时延和功耗；
S4、利用计算的时延和功耗训练所述DQN模型，并利用训练后的DQN模型确定任务卸载策略和资源配置。
作为本发明的进一步改进，所述DQN模型所需参数包括学习率、贪婪系数、折扣因子、记忆库大小、批学习大小。
作为本发明的进一步改进，所述设备参数包括各个设备处理器频率、计算资源成本、通信带宽、能量系数、任务数据大小、上行链路发射功率、噪声功率、应用程序完成时间期限、时延、功耗、资源分配权重。
作为本发明的进一步改进，在步骤S2中，任务在用户设备执行用l表示，任务在MEC服务器执行用m表示，任务在云端服务器执行用c表示。
作为本发明的进一步改进，在步骤S3中，计算每一个用户设备的计算任务分别卸载到用户设备执行的时延和功耗，包括：
S3.1、计算用户设备i执行时延
Figure BDA0003845717660000021
Ci表示用户设备i以CPU周期数为单位的计算负载，
Figure BDA0003845717660000022
为用户设备i的CPU频率，单位为GHz；
S3.2、计算用户设备i在执行计算任务时的能耗
Figure BDA0003845717660000023
κ为芯片结构的能量系数。
作为本发明的进一步改进，在步骤S3中，计算每一个用户设备的计算任务分别卸载到MEC服务器执行的时延和功耗，包括：
S3.3、将非正交多址作为上行链路中的多址接入方案，以满足5G的连接要求，计算参数Ii＝∑pkhk和上行链路传输速率
Figure BDA0003845717660000024
其中，B为基站信道带宽，pi为用户设备i的上行链路传输功率，hi为用户设备i与基站的信道增益，Ii为信道内其他用户设备对用户设备i的干扰，σ为噪声功率，pk为其他用户设备的上行链路传输功率，hk为其他用户设备与基站的信道增益；
S3.4、计算优先级系数λi，计算公式为
Figure BDA0003845717660000031
其中，qi为用户设备i的紧急程度，qth为用户设备紧急程度阈值；
S3.5、计算用户设备i将计算任务卸载到MEC服务器时，计算资源分配
Figure BDA0003845717660000032
其中，
Figure BDA0003845717660000033
为时延偏好因子，Ti表示计算任务要求最大时延，
Figure BDA0003845717660000034
为能耗偏好因子，
Figure BDA0003845717660000035
为计算资源偏好因子，η为拉格朗日乘子，cm为MEC服务器上的单位计算资源成本；
S3.6、计算MEC服务器执行时延
Figure BDA0003845717660000036
其中，Di表示以比特为单位的用户设备i传输至计算服务器的数据量；
S3.7、计算MEC服务器能耗
Figure BDA0003845717660000037
作为本发明的进一步改进，在步骤S3中，计算每一个用户设备的计算任务分别卸载到云端服务器执行的时延和功耗，包括：
S3.8、计算云计算资源分配
Figure BDA0003845717660000038
其中，cc为云端服务器上的单位计算资源成本；
S3.9、计算云计算时延
Figure BDA0003845717660000039
Figure BDA00038457176600000310
为云端服务器计算结果数据量，ν为基站到云端服务器单位数据传输时延；
S3.10、计算云端服务器能耗，云端服务器能耗模型与MEC服务器的能耗模型相同，均来自于上行链路能耗，表示为
Figure BDA00038457176600000311
作为本发明的进一步改进，步骤S4包括：
S4.1、计算奖励函数
Figure BDA00038457176600000312
其中，N表示用户设备数，μt、μe、μf分别为时延、能耗、资源分配权重，ti表示用户设备i的时延，Ei表示用户设备i的功耗，fi表示用户设备i的资源分配；
S4.2、DQN模型更新Loss函数方式为
Figure BDA0003845717660000041
Figure BDA0003845717660000042
其中，n表示更新权重时状态转移的次数，Rτ为奖励函数，γτ为折扣因子，A′为Sτ+n状态的奖励最优解，λ为优先级系数，
Figure BDA0003845717660000043
为目标网络参数，θ为网络参数，Sτ为系统状态，Aτ为系统动作；
S4.3、在更新后存入经验池时，采用优先经验值回放，根据损失函数来决定当前项采样的权值：
Figure BDA0003845717660000044
其中，w为优先经验回放的优先级因子；
S4.4、MEC服务器通过DQN模型计算用户设备优先级获得权重向量，并基于权重向量选择确定的卸载策略和资源配置。
本发明还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述任意一项所述方法的步骤。
本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任意一项所述方法的步骤。
本发明的有益效果：
本发明基于DQN算法的电力物联网卸载策略和资源配置优化方法考虑了时延、能耗和资源配置等因素，高级计算任务优先处理策略和计算资源优化分配，使得时延、能耗均较低；本发明在时延、能耗及能效方面均优于其他对比模型，表明针对不同用户设备数量和计算任务量场景该方案能够更有效的实现云边协同卸载策略和资源配置优化。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其他目的、特征和优点能够更明显易懂，以下特举较佳实施例，并配合附图，详细说明如下。
附图说明
图1是电力物联网的框架图；
图2为本发明中基于DQN算法的电力物联网卸载策略和资源配置优化方法的流程图；
图3为本发明中DQN算法的框架图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定。
如图2-3所示，为本发明优选实施例中基于DQN算法的电力物联网卸载策略和资源配置优化方法，包括以下步骤：
步骤S1、构建DQN模型，设置DQN模型所需参数以及设备参数；所述设备包括用户设备、MEC服务器、云端服务器；
其中，所述DQN模型所需参数包括学习率lr，贪婪系数∈，折扣因子γ，记忆库大小D，批学习大小minibatch；
所述设备参数包括各个设备处理器频率、计算资源成本、通信带宽、能量系数、任务数据大小、上行链路发射功率、噪声功率、应用程序完成时间期限、时延、功耗、资源分配权重。
步骤S2、初始化DQN模型的动作为任务在用户设备执行、任务在MEC服务器执行与任务在云端服务器执行；
可选地，任务在用户设备执行用l表示，任务在MEC服务器执行用m表示，任务在云端服务器执行用c表示。
步骤S3、计算每一个用户设备的计算任务分别卸载到用户设备执行、MEC服务器执行、云端服务器执行的时延和功耗；
具体地，在步骤S3中，计算每一个用户设备的计算任务分别卸载到用户设备执行的时延和功耗，包括：
步骤S3.1、计算用户设备i执行时延
Figure BDA0003845717660000061
Ci表示用户设备i以CPU周期数为单位的计算负载，
Figure BDA0003845717660000062
为用户设备i的CPU频率，单位为GHz；
步骤S3.2、计算用户设备i在执行计算任务时的能耗
Figure BDA0003845717660000063
κ为芯片结构的能量系数。
由于MEC服务器执行时延包括上行链路传输时间、MEC服务器执行任务的时间和将输出结果从MEC传回用户设备的时间，由于输出结果的大小一般比输入小得多，将接收结果的时间忽略不计。因此，在步骤S3中，计算每一个用户设备的计算任务分别卸载到MEC服务器执行的时延和功耗，包括：
步骤S3.3、将非正交多址作为上行链路中的多址接入方案，以满足5G的连接要求，计算参数Ii＝∑pkhk和上行链路传输速率
Figure BDA0003845717660000064
Figure BDA0003845717660000065
其中，B为基站信道带宽，pi为用户设备i的上行链路传输功率，hi为用户设备i与基站的信道增益，Ii为信道内其他用户设备对用户设备i的干扰，σ为噪声功率，pk为其他用户设备的上行链路传输功率，hk为其他用户设备与基站的信道增益；
步骤S3.4、计算优先级系数λi，计算公式为
Figure BDA0003845717660000066
其中，qi为用户设备i的紧急程度，qth为用户设备紧急程度阈值；
步骤S3.5、计算用户设备i将计算任务卸载到MEC服务器时，计算资源分配
Figure BDA0003845717660000067
其中，
Figure BDA0003845717660000068
为时延偏好因子，Ti表示计算任务要求最大时延，
Figure BDA0003845717660000069
为能耗偏好因子，
Figure BDA00038457176600000610
为计算资源偏好因子，η为拉格朗日乘子，cm为MEC服务器上的单位计算资源成本；
步骤S3.6、计算MEC服务器执行时延
Figure BDA00038457176600000611
其中，Di表示以比特为单位的用户设备i传输至计算服务器的数据量；
步骤S3.7、计算MEC服务器能耗
Figure BDA0003845717660000071
具体地，在步骤S3中，计算每一个用户设备的计算任务分别卸载到云端服务器执行的时延和功耗，包括：
步骤S3.8、计算云计算资源分配
Figure BDA0003845717660000072
其中，cc为云端服务器上的单位计算资源成本；
步骤S3.9、计算云计算时延
Figure BDA0003845717660000073
Figure BDA0003845717660000074
为云端服务器计算结果数据量，ν为基站到云端服务器单位数据传输时延；
步骤S3.10、计算云端服务器能耗，云端服务器能耗模型与MEC服务器的能耗模型相同，均来自于上行链路能耗，表示为
Figure BDA0003845717660000075
步骤S4、利用计算的时延和功耗训练所述DQN模型，并利用训练后的DQN模型确定任务卸载策略和资源配置。具体地，步骤S4包括：
步骤S4.1、计算奖励函数
Figure BDA0003845717660000076
其中，N表示用户设备数，μt、μe、μf分别为时延、能耗、资源分配权重，ti表示用户设备i的时延，Ei表示用户设备i的功耗，fi表示用户设备i的资源分配；
步骤S4.2、DQN模型更新Loss函数方式为
Figure BDA0003845717660000077
Figure BDA0003845717660000078
其中，n表示更新权重时状态转移的次数，Rτ为奖励函数，γτ为折扣因子，A′为Sτ+n状态的奖励最优解，λ为优先级系数，
Figure BDA0003845717660000079
为目标网络参数，θ为网络参数，Sτ为系统状态，Aτ为系统动作；
步骤S4.3、在更新后存入经验池时，采用优先经验值回放，根据损失函数来决定当前项采样的权值：
Figure BDA00038457176600000710
Figure BDA00038457176600000711
其中，w为优先经验回放的优先级因子；
步骤S4.4、MEC服务器通过DQN模型计算用户设备优先级获得权重向量，并基于权重向量选择确定的卸载策略和资源配置。
本发明考虑了时延、能耗和资源配置等因素，结果表明：MEC服务器资源配置为30GHz较为合理；高级计算任务优先处理策略和计算资源优化分配，使得时延、能耗均较低；本发明在时延、能耗及能效方面均优于其他对比模型，表明针对不同用户设备数量和计算任务量场景该方案能够更有效的实现云边协同卸载策略和资源配置优化。
本发明优选实施例还公开了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述实施例中所述方法的步骤。
本发明优选实施例还公开了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述实施例中所述方法的步骤。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上实施例仅是为充分说明本发明而所举的较佳的实施例，本发明的保护范围不限于此。本技术领域的技术人员在本发明基础上所作的等同替代或变换，均在本发明的保护范围之内。本发明的保护范围以权利要求书为准。

Claims (10)

1.基于DQN算法的电力物联网卸载策略和资源配置优化方法，其特征在于，包括以下步骤：
S1、构建DQN模型，设置DQN模型所需参数以及设备参数；所述设备包括用户设备、MEC服务器、云端服务器；
S2、初始化DQN模型的动作为任务在用户设备执行、任务在MEC服务器执行与任务在云端服务器执行；
S3、计算每一个用户设备的计算任务分别卸载到用户设备执行、MEC服务器执行、云端服务器执行的时延和功耗；
S4、利用计算的时延和功耗训练所述DQN模型，并利用训练后的DQN模型确定任务卸载策略和资源配置。
2.如权利要求1所述的基于DQN算法的电力物联网卸载策略和资源配置优化方法，其特征在于，所述DQN模型所需参数包括学习率、贪婪系数、折扣因子、记忆库大小、批学习大小。
3.如权利要求1所述的基于DQN算法的电力物联网卸载策略和资源配置优化方法，其特征在于，所述设备参数包括各个设备处理器频率、计算资源成本、通信带宽、能量系数、任务数据大小、上行链路发射功率、噪声功率、应用程序完成时间期限、时延、功耗、资源分配权重。
4.如权利要求1所述的基于DQN算法的电力物联网卸载策略和资源配置优化方法，其特征在于，在步骤S2中，任务在用户设备执行用l表示，任务在MEC服务器执行用m表示，任务在云端服务器执行用c表示。
5.如权利要求4所述的基于DQN算法的电力物联网卸载策略和资源配置优化方法，其特征在于，在步骤S3中，计算每一个用户设备的计算任务分别卸载到用户设备执行的时延和功耗，包括：
S3.1、计算用户设备i执行时延
Figure FDA0003845717650000011
Ci表示用户设备i以CPU周期数为单位的计算负载，
Figure FDA0003845717650000012
为用户设备i的CPU频率，单位为GHz；
S3.2、计算用户设备i在执行计算任务时的能耗
Figure FDA0003845717650000021
κ为芯片结构的能量系数。
6.如权利要求4所述的基于DQN算法的电力物联网卸载策略和资源配置优化方法，其特征在于，在步骤S3中，计算每一个用户设备的计算任务分别卸载到MEC服务器执行的时延和功耗，包括：
S3.3、将非正交多址作为上行链路中的多址接入方案，以满足5G的连接要求，计算参数Ii＝∑pkhk和上行链路传输速率
Figure FDA0003845717650000022
其中，B为基站信道带宽，pi为用户设备i的上行链路传输功率，hi为用户设备i与基站的信道增益，Ii为信道内其他用户设备对用户设备i的干扰，σ为噪声功率，pk为其他用户设备的上行链路传输功率，hk为其他用户设备与基站的信道增益；
S3.4、计算优先级系数λi，计算公式为
Figure FDA0003845717650000023
其中，qi为用户设备i的紧急程度，qth为用户设备紧急程度阈值；
S3.5、计算用户设备i将计算任务卸载到MEC服务器时，计算资源分配
Figure FDA0003845717650000024
其中，
Figure FDA0003845717650000025
为时延偏好因子，Ti表示计算任务要求最大时延，
Figure FDA0003845717650000026
为能耗偏好因子，
Figure FDA0003845717650000027
为计算资源偏好因子，η为拉格朗日乘子，cm为MEC服务器上的单位计算资源成本；
S3.6、计算MEC服务器执行时延
Figure FDA0003845717650000028
其中，Di表示以比特为单位的用户设备i传输至计算服务器的数据量；
S3.7、计算MEC服务器能耗
Figure FDA0003845717650000029
7.如权利要求6所述的基于DQN算法的电力物联网卸载策略和资源配置优化方法，其特征在于，在步骤S3中，计算每一个用户设备的计算任务分别卸载到云端服务器执行的时延和功耗，包括：
S3.8、计算云计算资源分配
Figure FDA0003845717650000031
其中，cc为云端服务器上的单位计算资源成本；
S3.9、计算云计算时延
Figure FDA0003845717650000032
Di b为云端服务器计算结果数据量，ν为基站到云端服务器单位数据传输时延；
S3.10、计算云端服务器能耗，云端服务器能耗模型与MEC服务器的能耗模型相同，均来自于上行链路能耗，表示为
Figure FDA0003845717650000033
8.如权利要求1所述的基于DQN算法的电力物联网卸载策略和资源配置优化方法，其特征在于，步骤S4包括：
S4.1、计算奖励函数
Figure FDA0003845717650000034
其中，N表示用户设备数，μt、μe、μf分别为时延、能耗、资源分配权重，ti表示用户设备i的时延，Ei表示用户设备i的功耗，fi表示用户设备i的资源分配；
S4.2、DQN模型更新Loss函数方式为
Figure FDA0003845717650000035
Figure FDA0003845717650000036
其中，n表示更新权重时状态转移的次数，Rτ为奖励函数，γτ为折扣因子，A′为Sτ+n状态的奖励最优解，λ为优先级系数，
Figure FDA0003845717650000037
为目标网络参数，θ为网络参数，Sτ为系统状态，Aτ为系统动作；
S4.3、在更新后存入经验池时，采用优先经验值回放，根据损失函数来决定当前项采样的权值：
Figure FDA0003845717650000038
其中，w为优先经验回放的优先级因子；
S4.4、MEC服务器通过DQN模型计算用户设备优先级获得权重向量，并基于权重向量选择确定的卸载策略和资源配置。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1-8中任意一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-8任意一项所述方法的步骤。
CN202211116361.3A 2022-09-14 2022-09-14 基于dqn算法的电力物联网卸载策略和资源配置优化方法 Active CN115473896B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211116361.3A CN115473896B (zh) 2022-09-14 2022-09-14 基于dqn算法的电力物联网卸载策略和资源配置优化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211116361.3A CN115473896B (zh) 2022-09-14 2022-09-14 基于dqn算法的电力物联网卸载策略和资源配置优化方法

Publications (2)

Publication Number Publication Date
CN115473896A true CN115473896A (zh) 2022-12-13
CN115473896B CN115473896B (zh) 2024-06-25

Family

ID=84332779

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211116361.3A Active CN115473896B (zh) 2022-09-14 2022-09-14 基于dqn算法的电力物联网卸载策略和资源配置优化方法

Country Status (1)

Country Link
CN (1) CN115473896B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116582873A (zh) * 2023-07-13 2023-08-11 湖南省通信建设有限公司 通过5g网络演算优化卸载任务降低延时和能耗的系统
CN117155798A (zh) * 2023-03-13 2023-12-01 中国科学院沈阳自动化研究所 面向资源受限的云-边协同实时调度方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113010282A (zh) * 2021-03-03 2021-06-22 电子科技大学 一种基于深度强化学习的边云协同串行任务卸载方法
CN113950066A (zh) * 2021-09-10 2022-01-18 西安电子科技大学 移动边缘环境下单服务器部分计算卸载方法、系统、设备
US20220032933A1 (en) * 2020-07-31 2022-02-03 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for generating a task offloading strategy for a vehicular edge-computing environment
CN114189892A (zh) * 2021-12-15 2022-03-15 北京工业大学 一种基于区块链和集体强化学习的云边协同物联网系统资源分配方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220032933A1 (en) * 2020-07-31 2022-02-03 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for generating a task offloading strategy for a vehicular edge-computing environment
CN113010282A (zh) * 2021-03-03 2021-06-22 电子科技大学 一种基于深度强化学习的边云协同串行任务卸载方法
CN113950066A (zh) * 2021-09-10 2022-01-18 西安电子科技大学 移动边缘环境下单服务器部分计算卸载方法、系统、设备
CN114189892A (zh) * 2021-12-15 2022-03-15 北京工业大学 一种基于区块链和集体强化学习的云边协同物联网系统资源分配方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117155798A (zh) * 2023-03-13 2023-12-01 中国科学院沈阳自动化研究所 面向资源受限的云-边协同实时调度方法
CN117155798B (zh) * 2023-03-13 2024-03-01 中国科学院沈阳自动化研究所 面向资源受限的云-边协同实时调度方法
CN116582873A (zh) * 2023-07-13 2023-08-11 湖南省通信建设有限公司 通过5g网络演算优化卸载任务降低延时和能耗的系统
CN116582873B (zh) * 2023-07-13 2023-09-08 湖南省通信建设有限公司 通过5g网络演算优化卸载任务降低延时和能耗的系统

Also Published As

Publication number Publication date
CN115473896B (zh) 2024-06-25

Similar Documents

Publication Publication Date Title
CN113950066B (zh) 移动边缘环境下单服务器部分计算卸载方法、系统、设备
CN110928654B (zh) 一种边缘计算系统中分布式的在线任务卸载调度方法
CN111240701B (zh) 一种端-边-云协同计算的任务卸载优化方法
Yu et al. Computation offloading for mobile edge computing: A deep learning approach
CN111148134B (zh) 一种基于移动边缘计算的多用户多任务卸载方法
CN110798849A (zh) 一种超密网边缘计算的计算资源分配与任务卸载方法
CN113010282B (zh) 一种基于深度强化学习的边云协同串行任务卸载方法
CN111918339B (zh) 移动边缘网络中基于强化学习的ar任务卸载和资源分配方法
CN114340016B (zh) 一种电网边缘计算卸载分配方法及系统
CN115473896B (zh) 基于dqn算法的电力物联网卸载策略和资源配置优化方法
CN114265631B (zh) 一种基于联邦元学习的移动边缘计算智能卸载方法及装置
CN113286329A (zh) 基于移动边缘计算的通信和计算资源联合优化方法
CN109743713B (zh) 一种电力物联网系统的资源分配方法及装置
CN113590279B (zh) 一种面向多核边缘计算服务器的任务调度和资源分配方法
CN113573363B (zh) 基于深度强化学习的mec计算卸载与资源分配方法
CN111511028A (zh) 一种多用户资源分配方法、装置、系统及存储介质
Chen et al. Joint optimization of task offloading and resource allocation via deep reinforcement learning for augmented reality in mobile edge network
CN116996938A (zh) 车联网任务卸载方法、终端设备及存储介质
CN110780986B (zh) 一种基于移动边缘计算的物联网任务调度方法及系统
CN113747507B (zh) 一种面向5g超密集网络的计算资源管理方法及装置
Di Pietro et al. An optimal low-complexity policy for cache-aided computation offloading
CN114615705B (zh) 一种基于5g网络下单用户资源分配策略方法
CN110768827A (zh) 一种基于群智能算法的任务卸载方法
CN115696587A (zh) 一种资源分配方法、装置、设备及介质
CN115278784A (zh) 基于mec的无线用户任务带宽功率联合优化方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant