CN115665264A - 一种基于时延感知的电力通信网自主业务编排方法和装置 - Google Patents
一种基于时延感知的电力通信网自主业务编排方法和装置 Download PDFInfo
- Publication number
- CN115665264A CN115665264A CN202211318202.1A CN202211318202A CN115665264A CN 115665264 A CN115665264 A CN 115665264A CN 202211318202 A CN202211318202 A CN 202211318202A CN 115665264 A CN115665264 A CN 115665264A
- Authority
- CN
- China
- Prior art keywords
- communication network
- service
- power communication
- transmission
- arrangement
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000004891 communication Methods 0.000 title claims abstract description 134
- 238000000034 method Methods 0.000 title claims abstract description 35
- 230000008447 perception Effects 0.000 title claims abstract description 35
- 230000005540 biological transmission Effects 0.000 claims abstract description 132
- 230000003287 optical effect Effects 0.000 claims abstract description 20
- 238000010586 diagram Methods 0.000 claims abstract description 6
- 230000006870 function Effects 0.000 claims description 57
- 239000013307 optical fiber Substances 0.000 claims description 12
- 238000004590 computer program Methods 0.000 description 13
- 238000003860 storage Methods 0.000 description 9
- 230000003044 adaptive effect Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 238000005457 optimization Methods 0.000 description 4
- 230000006399 behavior Effects 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 201000004569 Blindness Diseases 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 208000001613 Gambling Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000008846 dynamic interplay Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000009827 uniform distribution Methods 0.000 description 1
Images
Landscapes
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明公开了一种基于时延感知的电力通信网自主业务编排方法及装置。该方法包括：将电力通信网划分为三层架构，包括业务层、编排层和传输层，在所述传输层建立电力通信网时延传输模型；根据所述电力通信网的三层架构建立基于时延感知的电力通信网自主业务编排模型；将所述业务数据流大小、电力通信网网络拓扑图、可用路由集合、每个频隙消耗的传输功率、光路增益、噪声功率和业务数据流占用的带宽输入至基于时延感知的电力通信网自主编排模型，所述电力通信网自主编排模型通过所述编排层决策出本次业务编排的路由选择，以使所述数据转发层根据所述传输路由选择进行业务编排。本发明技术方案降低了业务编排时业务数据流传输时延。
Description
技术领域
本发明涉及电力通信网业务编排技术领域，尤其涉及一种基于时延感知的电力通信网自主业务编排方法和装置。
背景技术
随着电网的快速增长，电力通信网规模不断扩大，形成了一个覆盖高压、低压，承载多样业务的复杂网络。电力通信网是电网运行信息的传送系统，其运行方式日益复杂、承载业务繁多，各类业务的服务质量(Qua l ity of Servi ce，QoS)需求各异。为满足电力通信网内众多业务的差异化QoS需求，需对电力通信网内各业务进行合理资源编排。随着电力通信网数据规模越来越大，业务编排也越趋复杂，传统业务编排方法通常为事先对各业务传输路由进行统一分配，难以应对日益复杂的电力网络业务结构。为了保证各类业务数据尤其是实时调度类业务数据的低时延、高可靠通信，亟需设计一种电力通信网自主编排算法，实现复杂电力通信网络下的业务智能化编排，降低各类电力业务传输时延，满足电力通信网传输需求。
目前在电力通信网中通常采取固定路由、固定备用路由、自适应路由三种方式实现路由选择。固定路由通常在网络全局信息已知的情况下采用最短路径法等路由算法预先选择一条固定的可用路由进行传输。固定备用路由的方法为固定路由演进，在网络中选取多条备选路由，并按特定规则排序形成备选路由集合。自适应路由的基本思路为根据当前网络状态信息，动态为业务传输选择合适的路由。传统ε-greedy算法是一种解决信息不确定情况下电力通信网的自适应路由选择优化问题的有力工具，但由于其探索因子为固定值，无法适应日益复杂的网络环境，在实际应用中网络性能较差。由于传统ε-greedy算法探索因子为固定值，未考虑到历史环境状态，无法实现探索因子的自适应调节，难以适应复杂多变的电力通信网环境，具有一定盲目性，因此，无法降低业务编排时业务数据流传输时延。
发明内容
本发明提供一种基于时延感知的电力通信网自主业务编排方法和装置，降低了业务编排时业务数据流传输时延。
本发明一实施例提供一种基于时延感知的电力通信网自主业务编排方法，包括以下步骤：
将电力通信网划分为三层架构，包括业务层、编排层和传输层，在所述传输层建立电力通信网时延传输模型，所述电力通信网时延传输模型用于计算业务编排的总传输时延；
根据所述电力通信网的三层架构建立基于时延感知的电力通信网自主业务编排模型，所述电力通信网自主业务编排模型包括摇臂、目标函数、历史平均奖励函数和决策函数，所述摇臂为所述传输层内的路由选择集合，所述目标函数以所述电力通信网时延传输模型在满足路由选择约束和光纤链路信噪比约束下计算的最小总时延为目标，所述决策函数用于根据历史平均奖励函数计算的历史平均奖励值决策出本次业务编排的路由选择；
从所述业务层获取业务数据流大小，从所述传输层获取电力通信网网络拓扑图、可用路由集合、每个频隙消耗的传输功率、光路增益、噪声功率和业务数据流占用的带宽；
将所述业务数据流大小、电力通信网网络拓扑图、可用路由集合、每个频隙消耗的传输功率、光路增益、噪声功率和业务数据流占用的带宽输入至基于时延感知的电力通信网自主编排模型，所述电力通信网自主编排模型通过所述编排层决策出本次业务编排的路由选择，并将所述路由选择发送至所述传输层，以使所述数据转发层根据所述传输路由选择进行业务编排。
进一步的，在所述传输层建立电力通信网时延传输模型，具体包括：
根据每个频隙消耗的传输功率、光路增益和噪声功率计算本次路由选择的光纤链路信噪比；
根据所述光纤链路信噪比和业务数据流占用的带宽计算本次路由选择的数据流传输速率；
根据所述数据流的传输速率和业务数据流大小计算本次路由选择的总传输时延。
进一步的，根据所述数据流的传输速率和业务数据流大小计算本次路由选择的总传输时延，具体为，根据以下公式计算所述总传输时延：
其中，S(t)表示第t次业务编排时的业务数据流大小，
表示将所述业务数据流从
路由至
的数据流传输速率。
进一步的，根据以下步骤得到所述历史平均奖励函数：
将总传输时延函数的倒数设置为奖励函数；
根据所述奖励函数和路由选择的次数得到历史平均奖励函数。
进一步的，根据以下公式计算所述历史平均奖励值：
其中，kf(t)表示截止到第t次业务编排时选择路由Lf的总次数，
第t-1次业务编排时历史平均奖励值；
表示第t次业务编排时的奖励，当不满足OSNR约束或路由未被选择时奖励为0。
进一步的，根据以下公式计算第t次业务编排时的路由选择：
其中是，ε(t)表示探索因子，
表示历史平均奖励，μ∈(0,1)表示随机数。
本发明另一实施例提供了一种基于时延感知的电力通信网自主业务编排装置，包括时延传输模型搭建模块、自主业务编排模型搭建模块、输入数据获取模块和业务编排模块；
所述时延传输模型搭建模块用于将电力通信网划分为三层架构，包括业务层、编排层和传输层，在所述传输层建立电力通信网时延传输模型，所述电力通信网时延传输模型用于计算业务编排的总传输时延；
所述自主业务编排模型搭建模块用于根据所述电力通信网的三层架构建立基于时延感知的电力通信网自主业务编排模型，所述电力通信网自主业务编排模型包括摇臂、目标函数、历史平均奖励函数和决策函数，所述摇臂为所述传输层内的路由选择集合，所述目标函数以所述电力通信网时延传输模型在满足路由选择约束和光纤链路信噪比约束下计算的最小总时延为目标，所述决策函数用于根据历史平均奖励函数计算的历史平均奖励值决策出本次业务编排的路由选择；
所述输入数据获取模块用于从所述业务层获取业务数据流大小，从所述传输层获取电力通信网网络拓扑图、可用路由集合、每个频隙消耗的传输功率、光路增益、噪声功率和业务数据流占用的带宽；
所述业务编排模块用于将所述业务数据流大小、电力通信网网络拓扑图、可用路由集合、每个频隙消耗的传输功率、光路增益、噪声功率和业务数据流占用的带宽输入至基于时延感知的电力通信网自主编排模型，所述电力通信网自主编排模型通过所述编排层决策出本次业务编排的路由选择，并将所述路由选择发送至所述传输层，以使所述数据转发层根据所述传输路由选择进行业务编排。
本发明的实施例，具有如下有益效果：
本发明提供了一种基于时延感知的电力通信网自主业务编排方法和装置，该方法通过在所述传输层建立电力通信网时延传输模型，并根据所述电力通信网的三层架构建立基于时延感知的电力通信网自主业务编排模型，所述电力通信网自主业务编排模型的目标函数以所述电力通信网时延传输模型在满足路由选择约束和光纤链路信噪比约束下计算的最小总时延为目标，以及模型的决策函数用于根据历史平均奖励函数计算的历史平均奖励值决策出本次业务编排的路由选择，实现了通过利用历史路由选择策略的累计奖赏值自适应调节行为策略，提高了系统在进行自主业务编排时的时延感知特性，降低了业务编排时业务数据流传输时延。
附图说明
图1是本发明一实施例提供的电力通信网业务编排方法的流程示意图；
图2是本发明一实施例提供的电力通信网业务编排装置的结果示意图；
图3是本发明一实施例提供的电力通信网业务编排方法的电力通信网的架构示意图。
具体实施方式
下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明一实施例提供的一种电力通信网业务编排方法，包括以下步骤：
步骤S101：将电力通信网划分为三层架构，包括业务层、编排层和传输层，在所述传输层建立电力通信网时延传输模型，所述电力通信网时延传输模型用于计算业务编排的总传输时延。如图3所示，所述业务层用于承载所述电力通信网的生产业务和管理业务，并将业务数据流信息发送至编排层，所述编排层用于为所述业务数据流信息决策出路由选择，所述传输层用于根据所述路由选择将业务数据流信息从源节点发送至目标节点。所述业务层承载生产业务、管理业务两类典型业务，所述生产业务主要包括如继电保护、调度自动化、广域相量测量、线路保护等实时类业务，所述管理业务主要包括调度信息管理、雷电定位监测、视频会议系统、办公信息系统等实时类业务。所述编排层由SDN控制器集群组成，主要功能是获取传输层中所有路由节点的信息，进行编排策略的制定，将既定的编排策略发送至传输层。所述传输层中包含用于数据传输的电力通信网路由节点，为业务层产生的数据提供数据转发服务，并向所述编排层传输节点路由信息。
作为其中一种实施例，所述传输层中有N个节点，集合表示为
v1和vN分别为电力通信网网络拓扑中的源节点和目标节点，vn,n＝2,3,...,N-1表示中继节点。在v1和vN存在F条路由，集合表示为
其中f＝1,2,...,F表示中继路由。每条中继路由包含Z个节点，即v1，vN以及Z-2个路由设备组成。Lf中的节点集合表示为
其中节点顺序从源节点到目标节点，
为第f条路由的源节点v1，
为第f条路由内部第z个节点，
为第f条路由的目标节点vN。
作为其中一种实施例，集合
表示业务编排的次数，其中1，i和T分别表示第1，i和T次业务编排。每次业务编排的长度取决于从v1到vN的业务数据流传输时延。SN和DN分别表示本次业务编排的源节点和目标节点，即v1和vN；S(t)表示第t次迭代业务产生的数据流大小；定义二值变量xf(t)∈{0,1}为路由选择的指示变量，其中当v1选择路由Lf时用xf(t)＝1表示，否则用xf(t)＝0表示。
步骤S102：根据所述电力通信网的三层架构建立基于时延感知的电力通信网自主业务编排模型，所述电力通信网自主业务编排模型包括摇臂、目标函数、历史平均奖励函数和决策函数，所述摇臂为所述传输层内的路由选择集合，所述目标函数以所述电力通信网时延传输模型在满足路由选择约束和光纤链路信噪比约束下计算的最小总时延为目标，所述决策函数用于根据历史平均奖励函数计算的历史平均奖励值决策出本次业务编排的路由选择。
步骤S103：从所述业务层获取业务数据流大小，从所述传输层获取每个频隙消耗的传输功率、光路增益、噪声功率和业务数据流占用的带宽。
步骤S104：将所述业务数据流大小、电力通信网网络拓扑图、可用路由集合、每个频隙消耗的传输功率、光路增益、噪声功率和业务数据流占用的带宽输入至基于时延感知的电力通信网自主编排模型，所述电力通信网自主编排模型通过所述编排层决策出本次业务编排的路由选择，并将所述路由选择发送至所述传输层，以使所述数据转发层根据所述传输路由选择进行业务编排。
作为其中一种实施例，所述电力通信网基于光正交频分复用(opticalorthogonal frequency division multiplexing，OOFDM)传输业务数据流。定义B(t)为第t次迭代传输业务数据流占用的带宽；在所述传输层建立电力通信网时延传输模型，具体包括：
根据每个频隙消耗的传输功率、光路增益和噪声功率计算从
到
的光纤链路信噪比(Optical Signal-to-Noise Ratio，OSNR)；具体的，根据公式
计算从
到
的光纤链路信噪比，其中，P(t)为每个频隙消耗的传输功率，
为光路增益，σ0为噪声功率；
根据所述光纤链路信噪比和业务数据流占用的带宽计算从
到
的数据流传输速率；具体的，根据公式
计算所述数据流的传输速率；
再根据所述数据流的传输速率和业务数据流大小计算第t次路由选择Lf上的总传输时延；具体的，根据以下公式计算第t次路由选择Lf上的总传输时延：
其中，S(t)表示第t次迭代业务产生的数据流大小。
作为其中一种实施例，以最小化业务数据流总传输时延为目标，得到所述电力通信网自主业务编排模型的目标函数：
P1:
C1:
C2:
其中，γmin表示OSNR阈值，C1表示路由选择约束，即每次迭代v1只能选择一条路由传输业务数据流；C2表示OSNR约束。
由于在电力通信网的动态网络拓扑结构中，难以获得完美的GSI，因此，本发明基于局部信息优化路由选择。本发明将所述电力通信网自主业务编排模型的优化问题转化为MAB问题。具体的，在电力通信网的自主业务编排过程中MAB问题的决策者为编排层的SDN控制器，用于从摇臂中决策路由选择。摇臂为所述传输层内的路由选择集合。奖励为第t次迭代选择路由Lf得到的奖励奖赏定义为总传输时延的倒数，即
特别的，当约束C2不满足时，奖励设为0。将传输时延的倒数Qf(t)作为每次业务编排后编排层的SDN控制器制定决策后收到的反馈信息，表示所选策略的可靠性。将传输时延的倒数设置为奖励值，可以最大化奖赏值的时延感知调度，其目的在于使得所述编排层能根据当前时延调整任务执行时的路由选择策略，使自主编排过程中的奖赏值达到最大，即在动态切换过程中为使得总传输时延达到最小，提高系统的时延感知特性。同时，本发明提出基于时延感知ε-greedy的电力通信网业务自主编排模型，通过利用历史选择策略的累计奖赏值自适应调节路由选择的探索力度，实现业务数据流传输时延的最小化。
作为其中一种实施例，初始化所述电力通信网业务自主编排模型后，根据以下步骤决策出路由选择：
根据以下公式计算历史平均奖励
其中，kf(t)表示截止到第t次业务编排时选择路由Lf的总次数，且kf(t)＝kf(t-1)+xf(t)。
定义自适应探索因子ε(t)为：
式中，α表示对数函数底数，且α>1。
基于自适应ε-greedy算法，根据以下公式决策出第t次业务编排的最优路由选择：
在决策出最优路由选择时，通过探索因子的自适应更新来平衡和调节“探索”和“利用”之间的关系，具体如下：当路由选择取得较大累计奖赏值时，说明当前路由选择策略性能较好，
将增大、自适应探索因子ε(t)将减小，从而更倾向于“利用”，减少不必要“探索”导致的性能下降；当路由选择累计奖赏值较小时，说明当前路由选择策略性能较差，
将减小、自适应探索因子ε(t)将增大，从而更倾向于“探索”具有更优性能的路由选择策略。每次进行路由选择时，系统生成随机数μ∈(0,1)。当随机数μ>ε(t)时，选择历史平均奖赏值最大的路由节点；当μ≤ε(t)时，任意选择路由。
本发明将电力通信网络路由选择问题建模为一个多臂赌博机(multi-armedbandit，MAB)问题，可在路由节点等信息不确定的情况下进行电力通信网络业务编排的学习，以最小化时延为优化目标，通过与环境的动态交互与学习，实现动态业务编排策略优化。即本发明通过引入强化学习算法，将电力通信路由选择问题描述为一个MAB问题，以最小化网络时延为目标，可在未全面获取网络全局信息情况下进行电力通信网络最优业务编排策略的在线学习，能够有效适配差异化电力业务的传输需求。本发明设计一种基于时延感知的ε-greedy算法，针对传统ε-greedy算法探索因子为固定值而未考虑到历史环境状态导致的盲目性，对探索因子调节方式进行自适应改进，通过利用历史路由选择策略的累计奖赏值自适应调节行为策略的探索力度，使系统的奖赏值达到最大，提高系统的时延感知特性，实现时延感知学习的电力通信网自主业务编排。即本发明提出基于时延感知ε-greedy算法的电力通信网业务编排方法，通过利用历史路由选择策略的累计奖赏值自适应调节行为策略的探索力度，提高系统的时延感知特性，从而权衡“探索”与“利用”，实现时延感知学习的电力通信网自主业务编排。
在上述发明实施例的基础上，本发明对应提供了装置项实施例，如图2所示；
本发明另一实施例提供了一种基于时延感知的电力通信网自主业务编排装置，包括时延传输模型搭建模块101、自主业务编排模型搭建模块102、输入数据获取模块103和业务编排模块104；
所述时延传输模型搭建模块用于将电力通信网划分为三层架构，包括业务层、编排层和传输层，在所述传输层建立电力通信网时延传输模型，所述电力通信网时延传输模型用于计算业务编排的总传输时延；
所述自主业务编排模型搭建模块用于根据所述电力通信网的三层架构建立基于时延感知的电力通信网自主业务编排模型，所述电力通信网自主业务编排模型包括摇臂、目标函数、历史平均奖励函数和决策函数，所述摇臂为所述传输层内的路由选择集合，所述目标函数以所述电力通信网时延传输模型在满足路由选择约束和光纤链路信噪比约束下计算的最小总时延为目标，所述决策函数用于根据历史平均奖励函数计算的历史平均奖励值决策出本次业务编排的路由选择；
所述输入数据获取模块用于从所述业务层获取业务数据流大小，从所述传输层获取电力通信网网络拓扑图、可用路由集合、每个频隙消耗的传输功率、光路增益、噪声功率和业务数据流占用的带宽；
所述业务编排模块用于将所述业务数据流大小、电力通信网网络拓扑图、可用路由集合、每个频隙消耗的传输功率、光路增益、噪声功率和业务数据流占用的带宽输入至基于时延感知的电力通信网自主编排模型，所述电力通信网自主编排模型通过所述编排层决策出本次业务编排的路由选择，并将所述路由选择发送至所述传输层，以使所述数据转发层根据所述传输路由选择进行业务编排。
为描述的方便和简洁，本发明装置项实施例包括上述电力通信网业务编排方法实施例中的全部实施方式，此处不再赘述。
示例性的，所述计算机程序可以被分割成一个或多个模块，所述一个或者多个模块被存储在所述存储器中，并由所述处理器执行，以完成本发明。所述一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述终端设备中的执行过程。
所述终端设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述终端设备可包括，但不仅限于，处理器、存储器。
所称处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述终端设备的控制中心，利用各种接口和线路连接整个终端设备的各个部分。
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述终端设备的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
其中，所述终端设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质(即上述可读存储介质)中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。
需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本发明提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。
本领域普通技术人员可以理解实现上述实施例中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random Access Memory，RAM)等。
Claims (7)
1.一种基于时延感知的电力通信网自主业务编排方法，其特征在于，包括以下步骤：
将电力通信网划分为三层架构，包括业务层、编排层和传输层，在所述传输层建立电力通信网时延传输模型，所述电力通信网时延传输模型用于计算业务编排的总传输时延；
根据所述电力通信网的三层架构建立基于时延感知的电力通信网自主业务编排模型，所述电力通信网自主业务编排模型包括摇臂、目标函数、历史平均奖励函数和决策函数，所述摇臂为所述传输层内的路由选择集合，所述目标函数以所述电力通信网时延传输模型在满足路由选择约束和光纤链路信噪比约束下计算的最小总时延为目标，所述决策函数用于根据历史平均奖励函数计算的历史平均奖励值决策出本次业务编排的路由选择；
从所述业务层获取业务数据流大小，从所述传输层获取电力通信网网络拓扑图、可用路由集合、每个频隙消耗的传输功率、光路增益、噪声功率和业务数据流占用的带宽；
将所述业务数据流大小、电力通信网网络拓扑图、可用路由集合、每个频隙消耗的传输功率、光路增益、噪声功率和业务数据流占用的带宽输入至基于时延感知的电力通信网自主编排模型，所述电力通信网自主编排模型通过所述编排层决策出本次业务编排的路由选择，并将所述路由选择发送至所述传输层，以使所述数据转发层根据所述传输路由选择进行业务编排。
2.根据权利要求1所述的基于时延感知的电力通信网自主业务编排方法，其特征在于，在所述传输层建立电力通信网时延传输模型，具体包括：
根据每个频隙消耗的传输功率、光路增益和噪声功率计算本次路由选择的光纤链路信噪比；
根据所述光纤链路信噪比和业务数据流占用的带宽计算本次路由选择的数据流传输速率；
根据所述数据流的传输速率和业务数据流大小计算本次路由选择的总传输时延。
3.根据权利要求2所述的基于时延感知的电力通信网业务编排方法，其特征在于，根据所述数据流的传输速率和业务数据流大小计算本次路由选择的总传输时延，具体为，根据以下公式计算所述总传输时延：
其中，S(t)表示第t次业务编排时的业务数据流大小，
表示将所述业务数据流从
路由至
的数据流传输速率。
4.根据权利要求3所述的基于时延感知的电力通信网自主业务编排方法，其特征在于，根据以下步骤得到所述历史平均奖励函数：
将总传输时延函数的倒数设置为奖励函数；
根据所述奖励函数和路由选择的次数得到历史平均奖励函数。
5.根据权利要求4所述的基于时延感知的电力通信网自主业务编排方法，其特征在于，根据以下公式计算所述历史平均奖励值：
其中，kf(t)表示截止到第t次业务编排时选择路由Lf的总次数，
第t-1次业务编排时历史平均奖励值；
表示第t次业务编排时的奖励，当不满足OSNR约束或路由未被选择时奖励为0。
6.根据权利要求1至5任一项所述的基于时延感知的电力通信网自主业务编排方法，其特征在于，根据以下公式计算第t次业务编排时的路由选择：
其中是，ε(t)表示探索因子，
表示历史平均奖励，μ∈(0,1)表示随机数。
7.一种基于时延感知的电力通信网自主业务编排装置，其特征在于，包括时延传输模型搭建模块、自主业务编排模型搭建模块、输入数据获取模块和业务编排模块；
所述时延传输模型搭建模块用于将电力通信网划分为三层架构，包括业务层、编排层和传输层，在所述传输层建立电力通信网时延传输模型，所述电力通信网时延传输模型用于计算业务编排的总传输时延；
所述自主业务编排模型搭建模块用于根据所述电力通信网的三层架构建立基于时延感知的电力通信网自主业务编排模型，所述电力通信网自主业务编排模型包括摇臂、目标函数、历史平均奖励函数和决策函数，所述摇臂为所述传输层内的路由选择集合，所述目标函数以所述电力通信网时延传输模型在满足路由选择约束和光纤链路信噪比约束下计算的最小总时延为目标，所述决策函数用于根据历史平均奖励函数计算的历史平均奖励值决策出本次业务编排的路由选择；
所述输入数据获取模块用于从所述业务层获取业务数据流大小，从所述传输层获取电力通信网网络拓扑图、可用路由集合、每个频隙消耗的传输功率、光路增益、噪声功率和业务数据流占用的带宽；
所述业务编排模块用于将所述业务数据流大小、电力通信网网络拓扑图、可用路由集合、每个频隙消耗的传输功率、光路增益、噪声功率和业务数据流占用的带宽输入至基于时延感知的电力通信网自主编排模型，所述电力通信网自主编排模型通过所述编排层决策出本次业务编排的路由选择，并将所述路由选择发送至所述传输层，以使所述数据转发层根据所述传输路由选择进行业务编排。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211318202.1A CN115665264A (zh) | 2022-10-26 | 2022-10-26 | 一种基于时延感知的电力通信网自主业务编排方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211318202.1A CN115665264A (zh) | 2022-10-26 | 2022-10-26 | 一种基于时延感知的电力通信网自主业务编排方法和装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115665264A true CN115665264A (zh) | 2023-01-31 |
Family
ID=84990867
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211318202.1A Withdrawn CN115665264A (zh) | 2022-10-26 | 2022-10-26 | 一种基于时延感知的电力通信网自主业务编排方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115665264A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117240773A (zh) * | 2023-11-15 | 2023-12-15 | 华北电力大学 | 一种电力通信网节点编排方法、装置、设备及介质 |
-
2022
- 2022-10-26 CN CN202211318202.1A patent/CN115665264A/zh not_active Withdrawn
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117240773A (zh) * | 2023-11-15 | 2023-12-15 | 华北电力大学 | 一种电力通信网节点编排方法、装置、设备及介质 |
| CN117240773B (zh) * | 2023-11-15 | 2024-02-02 | 华北电力大学 | 一种电力通信网节点编排方法、装置、设备及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114286413B (zh) | Tsn网络联合路由选择与流分配方法及相关设备 | |
| Kim et al. | Multi-agent reinforcement learning-based resource management for end-to-end network slicing | |
| CN111666149A (zh) | 基于深度强化学习的超密边缘计算网络移动性管理方法 | |
| CN113810233B (zh) | 一种在随机网络中基于算网协同的分布式计算卸载方法 | |
| CN114500561B (zh) | 电力物联网网络资源分配决策方法、系统、设备及介质 | |
| Chua et al. | Resource allocation for mobile metaverse with the Internet of Vehicles over 6G wireless communications: A deep reinforcement learning approach | |
| CN114422349A (zh) | 基于云边端协同的深度学习模型训练和推理架构部署方法 | |
| Xu et al. | ReCARL: resource allocation in cloud RANs with deep reinforcement learning | |
| EP4024212B1 (en) | Method for scheduling inference workloads on edge network resources | |
| CN117749796A (zh) | 一种云边算力网络系统计算卸载方法及系统 | |
| CN113573363A (zh) | 基于深度强化学习的mec计算卸载与资源分配方法 | |
| CN115665264A (zh) | 一种基于时延感知的电力通信网自主业务编排方法和装置 | |
| CN111211984B (zh) | 优化cdn网络的方法、装置及电子设备 | |
| Li et al. | Collaborative computing in vehicular networks: A deep reinforcement learning approach | |
| CN115499875B (zh) | 一种卫星互联网任务卸载方法、系统以及可读存储介质 | |
| CN113747450B (zh) | 一种移动网络中业务部署方法、装置及电子设备 | |
| WO2024146193A1 (zh) | 一种基于sdn的路由路径选择方法、装置及存储介质 | |
| Hsieh et al. | Deep reinforcement learning-based task assignment for cooperative mobile edge computing | |
| CN111580943A (zh) | 一种面向低时延边缘计算中多跳卸载的任务调度方法 | |
| CN115633083A (zh) | 一种电力通信网业务编排方法、装置及存储介质 | |
| CN114615705B (zh) | 一种基于5g网络下单用户资源分配策略方法 | |
| Belkout et al. | A load balancing and routing strategy in fog computing using deep reinforcement learning | |
| TWI792784B (zh) | 基於聯邦強化學習的邊緣計算卸載優化方法及通信系統 | |
| CN116094983A (zh) | 基于深度强化学习的智能路由决策方法、系统及存储介质 | |
| CN109151895B (zh) | 一种数据传输方法、装置、服务器及网络中心节点 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20230131 |
|
| WW01 | Invention patent application withdrawn after publication |