CN110275758B - 一种虚拟网络功能智能迁移方法 - Google Patents
一种虚拟网络功能智能迁移方法 Download PDFInfo
- Publication number
- CN110275758B CN110275758B CN201910382250.9A CN201910382250A CN110275758B CN 110275758 B CN110275758 B CN 110275758B CN 201910382250 A CN201910382250 A CN 201910382250A CN 110275758 B CN110275758 B CN 110275758B
- Authority
- CN
- China
- Prior art keywords
- vnf
- node
- network
- migration
- state
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000005012 migration Effects 0.000 title claims abstract description 68
- 238000013508 migration Methods 0.000 title claims abstract description 68
- 238000000034 method Methods 0.000 title claims abstract description 42
- 230000006870 function Effects 0.000 claims abstract description 44
- 238000005265 energy consumption Methods 0.000 claims abstract description 35
- 230000009471 action Effects 0.000 claims description 27
- 238000013468 resource allocation Methods 0.000 claims description 27
- 238000005457 optimization Methods 0.000 claims description 20
- GEPDYQSQVLXLEU-AATRIKPKSA-N methyl (e)-3-dimethoxyphosphoryloxybut-2-enoate Chemical compound COC(=O)\C=C(/C)OP(=O)(OC)OC GEPDYQSQVLXLEU-AATRIKPKSA-N 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 10
- 230000005540 biological transmission Effects 0.000 claims description 8
- 238000007726 management method Methods 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 8
- 230000008859 change Effects 0.000 claims description 5
- 230000001186 cumulative effect Effects 0.000 claims description 5
- 238000012544 monitoring process Methods 0.000 claims description 4
- 238000012549 training Methods 0.000 claims description 4
- 238000009825 accumulation Methods 0.000 claims description 3
- 230000006399 behavior Effects 0.000 claims description 3
- 238000011478 gradient descent method Methods 0.000 claims description 3
- 230000006872 improvement Effects 0.000 claims description 2
- 150000001875 compounds Chemical class 0.000 claims 2
- 238000010295 mobile communication Methods 0.000 abstract description 2
- 230000008901 benefit Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000004808 supercritical fluid chromatography Methods 0.000 description 4
- 230000002787 reinforcement Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- RVRCFVVLDHTFFA-UHFFFAOYSA-N heptasodium;tungsten;nonatriacontahydrate Chemical compound O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.[Na+].[Na+].[Na+].[Na+].[Na+].[Na+].[Na+].[W].[W].[W].[W].[W].[W].[W].[W].[W].[W].[W] RVRCFVVLDHTFFA-UHFFFAOYSA-N 0.000 description 2
- 230000009191 jumping Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
- G06F9/45533—Hypervisors; Virtual machine monitors
- G06F9/45558—Hypervisor-specific management and integration aspects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
- G06F9/45533—Hypervisors; Virtual machine monitors
- G06F9/45558—Hypervisor-specific management and integration aspects
- G06F2009/4557—Distribution of virtual machine instances; Migration and load balancing
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明涉及一种虚拟网络功能智能迁移方法，属于移动通信技术领域。在该方法中，在每个离散时隙上，在保证每个切片的最高平均时延约束、节点缓存资源消耗限制以及链路带宽容量限制的前提下，根据各个虚拟网络功能(Virtualized Network Function，VNF)实例的队列状态信息、节点状态信息以及链路状态信息，以最小化通用服务器平均运行能耗为目标，为切片制定最佳的VNF迁移策略并动态地调整网络内节点CPU资源的分配策略。本方法既可以充分利用CPU资源，又可以满足切片平均端到端时延的要求；实现了VNF实例的共享，在节约系统平均能耗的同时有效地保持系统的稳定性。
Description
技术领域
本发明属于移动通信技术领域，涉及一种虚拟网络功能(Virtualized NetworkFunction，VNF)智能迁移方法。
背景技术
5G网络切片及NFV技术为虚拟资源的集中调度以及VNF的灵活编排带来了巨大的优势。在NFV架构下，将传统网络元件以软件的形式抽象化为独立的功能模块，并部署在通用服务器平台上；同时，将多维度的网络资源整合在统一的资源池中，根据用户对不同切片的需求，对资源池中的资源进行动态地调度和按需分配。这种模式使得SFC在基础设施中的移动性管理成为了可能，随着网络负载及基础设施中链路与节点状态的变化，动态地调整SFC的部署方式，即对VNF迁移并进行资源的重配置，可以在保证网络服务性能的同时提高基础设施中通用服务器的资源利用率。同时，VNF的灵活编排也为能耗的节约提供了有利条件，在VNF共享的机制下，将资源利用率较低的服务器上的VNF进行迁移，并关闭相应的服务器从而达到降低能耗的目的。
虽然VNF的迁移有助于对网络的运行能耗及资源的利用率进行优化，但在实际的应用场景中，迁移时机、待迁移VNF以及迁移目标的选择不当，都可能会造成迁移开销的增大、QoS下降等问题。因此，针对业务需求动态变化的5G网络切片场景，如何对VNF进行动态迁移，在保证各个切片业务性能的同时，兼顾迁移操作所带来的能耗优化，是5G网络切片中资源管理和调度机制需解决的关键问题之一。
在目前研究VNF迁移的相关文献中，大多数的工作停留在固定网络环境下瞬时指标优化的问题上，也即单时隙优化，而针对具备一定生命周期的动态切片业务场景，研究利用在线的资源管理技术优化VNF迁移在长时间尺度下的平均性能指标的工作不多。另外，针对VNF实例共享状态下，即单个VNF实例可以同时被多个切片业务调度时，若某个切片性能无法满足业务需求，目前的研究方法无法制定有效的策略实现服务功能链VNF的迁移。
发明内容
有鉴于此，本发明的目的在于提供一种虚拟网络功能智能迁移方法，该方法能够在有效地满足各切片QoS需求以及保持系统队列稳定性的同时，降低基础设施的平均能耗。
为达到上述目的，本发明提供如下技术方案：
一种虚拟网络功能智能迁移方法，在该方法中，在每个离散时隙上，在保证每个切片的最高平均时延约束、节点缓存资源消耗限制以及链路带宽容量限制的前提下，根据各个虚拟网络功能(Virtualized Network Function，VNF)实例的队列状态信息、节点状态信息以及链路状态信息，以最小化通用服务器平均运行能耗为目标，为切片制定最佳的VNF迁移策略并动态地调整网络内节点CPU资源的分配策略；具体包括以下步骤：
S1：在5G网络切片场景下，针对业务流量动态变化的特征，建立VNF实例多队列的时延模型和系统能耗模型，其中所述网络切片i的VNF调度总时延由处理时延和链路传输时延两部分组成，且CPU资源的分配策略影响VNF的处理时延；所述能耗模型主要包含两部分内容：节点处于开启状态时产生的基础能耗和随着VNF实例负载变化产生的运行能耗；
S2：将VNF的迁移和CPU资源的分配建立成基于受限马尔可夫决策过程(Constrained Markov Decision Process，CMDP)的随机优化模型，该模型以最小化通用服务器平均运行能耗为目标，同时受限于各切片平均时延约束以及平均缓存、带宽资源消耗约束；
S3：通过拉格朗日理论将CMDP问题转化为不受限马尔可夫决策过程MDP问题，即将优化目标从找到最优策略转化为寻找最佳的Q函数；
S4：建立基于强化学习框架的VNF智能迁移在线学习方法来近似行为值函数，从而在每个离散的时隙内根据当前系统状态为每个网络切片寻求最佳的VNF迁移策略及CPU资源分配方案。
进一步，在步骤S2中，所述基于CMDP的随机优化模型表示为最小化期望累积折扣回报：
其中：Ψ(t)为时隙t内的VNF迁移的动作向量，Z(t)为时隙t内每个VNF的CPU资源分配动作集合，r(t)为系统在时隙t的状态向量，
为通用服务器平均运行能耗；
所述切片时延约束为：所有的切片端到端时延都需要满足
其中
为切片i的平均端到端时延，τi为切片Si端到端时延约束；
缓存资源消耗约束为：所有节点缓存新到达的数据量应满足
其中
为期望累积折扣缓存资源消耗，χh为节点h租用的缓存资源总量；
所述带宽资源消耗约束为：所有链路传输的数据量应满足
其中
为期望累积折扣带宽资源消耗，Δh,l为节点h至节点l的链路带宽容量。
在每个离散时隙迁移VNF和动态分配虚拟资源，需要保证系统内所有VNF实例的队列不会随时间的推进而持续增加，进而切片端到端时延持续增大；系统内所有节点缓存内的数据量、链路传输的数据量不会随时间的推进而持续增加。
进一步，在步骤S3中，优化目标转化为获得状态r的最优策略π*,β，且满足
其中所述最优策略π*,β包括VNF迁移策略和CPU资源的分配方案，所述Q*,β(r,a)为最优行动值函数，所述a为动作向量，所述r为系统状态向量。
进一步，在步骤S4中，利用深度Q学习(DQN)训练函数fap来近似Q值的分布，该方法把状态r作为输入，然后经过神经网络分析后对应输出每一个动作的Q值，其主要过程是在Q网络的基础上增加一个目标Q网络(fixedQ-targets)来计算目标Q值，这两个网络结构相同但参数不同，通过最小化Q网络和目标Q网络之间的损失函数来优化权重w，来实现网络预测性能的提升。所述网络的更新方式为：目标Q网络在一段时间内才会更新一次，而Q网络在每次迭代过程之后都会更新。
进一步，价值函数近似的具体步骤为：
1)初始化经验回放池、Q网络、目标Q网络、拉格朗日乘子；
2)使用ε-greedy策略生成行动at，即随机选择一个概率p，若p≥ε，则计算VNF迁移及CPU资源分配策略
否则选择一个随机的行动
3)执行行动at，获得拉格朗日回报，并观察下一时刻状态，将经验样本存入经验回放池；
4)从经验回放池中随机抽取一组经验样本，利用目标Q网络计算目标Q值，并利用梯度下降法对权重进行更新；
5)每隔时间长度Tq更新目标Q网络；
6)利用随机次梯度法在线更新所述拉格朗日乘子；
7)经过数次迭代后，判断是否满足收敛条件；
8)如果当前所述的VNF迁移和CPU资源分配策略满足收敛条件，则将所述VNF迁移和CPU资源分配策略通知给所述虚拟网络调度器以及资源管理实体；
9)按照各所述VNF迁移和CPU资源分配策略，所述每个节点VNF实例按照所述队列更新方式更新所述缓存队列大小，并等待下一个调度时隙。
进一步，在每个调度时隙上，给定所述每个节点VNF实例的队列状态，系统的节点状态和链路状态，计算所述最优的VNF迁移与资源分配方案，具体步骤为：
1)监测当前时隙t下的全局状态，将当前状态r(t)作为Q网络的输入；
2)如果节点或链路在时隙t失效，为了提高网络的可靠性，系统在对相应的VNF进行迁移的基础上，选择最优的VNF迁移策略
对能耗与时延进行优化；
3)否则直接选择最优的迁移策略
4)等待下一个调度时隙t+1。
本发明的有益效果在于：本发明在每个离散调度时隙上根据当前的系统状态对VNF进行迁移并调整CPU资源的分配方式，既可以充分利用CPU资源，又可以满足切片平均端到端时延的要求。另外，将不同种类型SFC的VNF部署过程模拟成M/M/1排队过程，实现了VNF实例的共享，基于CMDP理论建立的随机优化模型以最小化通用服务器平均运行能耗为目标，在节约系统平均能耗的同时有效地保持系统的稳定性。
本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。
附图说明
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：
图1为本发明中的系统场景示意图；
图2为本发明中的虚拟网络功能迁移流程图；
图3为本发明中基于DQN的虚拟网络功能智能迁移在线学习架构图；
图4为本发明中的虚拟网络功能迁移策略选择流程图。
具体实施方式
在本发明提供的一种虚拟网络功能智能迁移方法在每个离散时隙上，在保证每个切片的最高平均时延约束、节点缓存资源消耗限制以及链路带宽容量限制的前提下，根据各个VNF实例的队列状态信息、节点状态信息以及链路状态信息，以最小化通用服务器平均运行能耗为目标，为切片制定最佳的VNF迁移策略并动态地调整网络内节点CPU资源的分配策略；
具体来说，所述的VNF智能迁移方法包括以下步骤：
S1：在5G网络切片场景下，针对业务流量动态变化的特征，建立VNF实例多队列的时延模型和系统能耗模型；
S2：将VNF的迁移和CPU资源的分配建立成基于受限马尔可夫决策过程(Constrained Markov Decision Process,CMDP)的随机优化模型，该模型以最小化通用服务器平均运行能耗为目标，同时受限于各切片平均时延约束以及平均缓存、带宽资源消耗约束；
S3：通过拉格朗日理论将CMDP问题转化为不受限的MDP问题，即将优化目标从找到最优策略转化为寻找最佳的Q函数；
S4：建立一种基于强化学习框架的VNF智能迁移在线学习方法来近似行为值函数，从而在每个离散的时隙内根据当前系统状态为每个网络切片寻求最佳的VNF迁移策略及CPU资源分配方案。
VNF实例多队列的时延模型：
所述网络切片i的VNF调度总时延由处理时延和链路传输时延两部分组成，其中CPU资源的分配策略影响VNF的处理时延，按照函数式：
计算数据流在VNFfij的产生的处理时延，其中所述
为节点h的VNF实例
的数据包达到过程的均值，所述Qh,j表示节点h的VNF实例
当前的队列长度大小，所述
为数据包大小的均值，所述
为
的服务速率，所述B(h,fij)表示VNFfij∈F是否部署在节点h。
按照函数式：
计算数据流在传输过程中产生的链路传输时延，其中所述σij为网络切片i调度VNFfj∈F的期望平均次数σij，所述P(fp|fj,i)表示用户请求切片Si的数据流在VNFfj被处理后传输至VNFfp的比例，所述δ(h,l)表示两个节点之间的数据传输时延，所述B(h,fij)表示VNFfij∈F是否部署在节点h。
VNF实例队列信息具体为：
按照函数式：
计算各VNF实例在每个调度时隙上更新的缓存队列大小，其中所述Qh,j(t+1)为节点h的VNF实例
在下一个调度时隙开始时的队列长度大小，所述Qh,j(t)为节点h的VNF实例
在当前调度时隙开始时的队列长度大小，所述
为节点h的VNF实例
在当前调度时隙开始时新到达的总数据量，所述
为节点h的VNF实例
在当前调度时隙开始时的服务速率。
所述能耗模型为：
优化的能耗模型主要包含两部分内容：节点处于开启状态时产生的基础能耗和随着VNF实例负载变化产生的运行能耗。具体可以表示为
其中所述
表示在时刻t节点h处于开启的状态，否则为0，所述uh∈(0,1)为节点h恒定功耗百分比，所述Ph表示节点h的CPU资源均被占用产生的最大能耗，所述ρh为负载密度。
所述基于CMDP的随机优化模型可以表示为：
期望累积折扣回报
可以表示为：
其中所述Ψ(t)为时隙t内的VNF迁移的动作向量，所述Z(t)为时隙t内每个VNF的CPU资源分配动作集合，所述r(t)为系统在时隙t的状态向量，所述γ为折扣因子。
所述切片时延约束为：所有的切片端到端时延都需要满足
其中所述的
为切片i的平均端到端时延，τi为切片Si端到端时延约束；
所述的缓存资源消耗约束为：所有节点缓存新到达的数据量应满足
其中所述
为期望累积折扣缓存资源消耗，所述χh为节点h租用的缓存资源总量；
所述的带宽资源消耗约束为：所有链路传输的数据量应满足
其中所述
为期望累积折扣带宽资源消耗，所述Δh,l为节点h至节点l的链路带宽容量；
所述最优行动值函数可以表示为：
因此优化目标转化为获得状态r的最优策略π*,β，且满足
其中所述最优动作π*,β包括VNF迁移策略和CPU资源的分配方案，
其中所述Q*,β(r,a)为最优行动值函数，所述gβ(r,a)为拉格朗日回报，所述
为状态转移概率，所述V*,β(r')为最优状态值函数，所述β为拉格朗日乘子，所述a为动作向量，所述r为系统状态向量，所述γ为折扣因子，所述r'表示下一时隙的状态。
所述基于强化学习的价值函数近似的具体步骤为：
初始化：经验回放池，Q网络，目标Q网络，拉格朗日乘子；
使用ε-greedy策略生成行动at；
执行行动at，获得拉格朗日回报，并观察下一时刻状态，将经验样本存入经验回放池；
从经验回放池中随机抽取一组经验样本，利用目标Q网络计算目标Q值，并利用梯度下降法对权重进行更新；
每隔时间长度Tq更新目标Q网络；
利用随机次梯度法在线更新所述拉格朗日乘子；
经过数次迭代后，判断是否满足收敛条件；
如果当前所述的VNF迁移和CPU资源分配策略满足收敛条件，则将所述VNF迁移和CPU资源分配策略通知给所述虚拟网络调度器以及资源管理实体；
按照各所述VNF迁移和CPU资源分配策略，所述每个节点VNF实例按照所述队列更新方式更新所述缓存队列大小，并等待下一个调度时隙；
所述权重w的更新，具体为：
利用损失函数的梯度并基于梯度下降优化法，可以对权重进行训练，其更新过程可以用函数式表示为：
其中所述
表示损失函数的梯度，所述α为学习率，所述G为损失函数，所述W为权重。
所述计算最优的VNF迁移与资源分配方案，具体步骤为：
监测当前时隙t下的全局状态，将当前状态r(t)作为Q网络的输入；
如果节点或链路在时隙t失效，为了提高网络的可靠性，系统在对相应的VNF进行迁移的基础上，选择最优的VNF迁移策略
对能耗与时延进行优化；
否则直接选择最优的迁移策略
并等待下一个调度时隙。
下面结合附图对本发明的具体实施例进行详细说明。
参见图1，图1为本发明中的系统场景示意图，其包含三层，应用层主要负责为每个切片请求提供有序的VNF集合来处理到达的数据流，基础设施层中云服务器提供包含计算资源、缓存资源、带宽资源等多种类型的虚拟网络资源，虚拟化层根据虚拟网络用户的业务状态，QoS需求等实现VNF的动态迁移、虚拟网络资源的灵活分配。其中基于DQN的性能分析模块的评估结果若为当前的VNF部署方式无法满足各个切片的QoS需求，虚拟网络调度器则根据当前队列状态和底层节点状态决定VNF的迁移策略以达到性能优化的目的；资源管理实体在SFC完成部署后为各个虚拟网络功能模块分配最佳的虚拟资源量；节点链路状态监测实体的作用是观察各节点及链路的实时状态。
参见图2，图2为本发明中的虚拟网络功能迁移流程图，步骤如下：
步骤201：建立全连接型虚拟网络拓扑结构，生成不同类型的网络切片及实现该切片业务的服务功能链组成；
步骤202：初始化设置系统各参数，包括Q网络、目标Q网络、时间因子Tmax等，特别地，令时间指示t＝0，且系统内所有VNF实例缓存的队列为0；
步骤203：收集全局VNF实例队列状态信息，网络节点、链路状态信息；
步骤204：将全局状态信息作为DQN网络的输入，根据最优行动值函数公式：
计算最优策略π*,β，且满足
其中所述最优动作π*,β包括VNF迁移策略和CPU资源的分配方案，
其中所述Q*,β(r,a)为最优行动值函数，所述gβ(r,a)为拉格朗日回报，所述
为状态转移概率，所述V*,β(r')为最优状态值函数，所述β为拉格朗日乘子，所述a为动作向量，所述r为系统状态向量，所述γ为折扣因子，所述r'表示下一时隙的状态；
步骤205：判断损失函数是否超出门限，即是否满足收敛条件，若不满足，则继续跳转到步骤206，否则执行步骤207；
步骤206：训练DQN网络，利用公式：
即损失函数的梯度并基于梯度下降优化法，对权重进行训练，其中所述
表示损失函数的梯度，α为学习率，所述G为损失函数，所述W为权重；
步骤207：利用随机次梯度法在线更新所述拉格朗日乘子的值；
步骤208：判断更新后拉格朗日乘子的值与前一次迭代的值的差值是否小于预定门限值，若不满足，则继续跳转到步骤203，否则执行步骤209；
步骤209：将VNF迁移及CPU资源分配决策通知给虚拟网络调度器和资源管理实体，基于最优行动执行VNF的迁移，并进行CPU资源的分配，并根据函数式：
计算各VNF实例在每个调度时隙上更新的缓存队列大小，
其中所述Qh,j(t+1)为节点h的VNF实例
在下一个调度时隙开始时的队列长度大小，所述Qh,j(t)为节点h的VNF实例
在当前调度时隙开始时的队列长度大小，所述
为节点h的VNF实例
在当前调度时隙开始时新到达的总数据量，所述
为节点h的VNF实例
在当前调度时隙开始时的服务速率；
步骤210：判断调度时隙是否达到最大的时隙值Tmax，若不满足，则跳转到步骤203，否则算法结束。
参见图3，图3为本发明中基于DQN的虚拟网络功能智能迁移在线学习架构图，由于在强化学习中，得到的观测数据是有序的，为了保证数据的独立性，DQN网络运用经验回放池(experience replay)存放每次迭代的数据样本，并采用随机的方式从经验回放池中抽取一部分数据用于网络参数的更新，以此来打破数据间的关联。同时，DQN在Q网络的基础上增加了一个目标Q网络(fixed Q-targets)来计算目标Q值，这两个网络结构相同但参数不同，为了提高网络预测的性能，权重函数需要反复的学习与训练以拟合复杂的环境特征，即通过最小化Q网络和目标Q网络之间的损失函数来优化权重w，从而在每个时隙根据当前的全局状态制定最优的VNF迁移及CPU资源分配方案。
参见图4，图4为本发明中的虚拟网络功能迁移策略选择流程图，步骤如下：
步骤401：初始化设置系统各参数，包括Q网络、目标Q网络、时间因子Tmax等，特别地，令时间指示t＝0，且系统内所有VNF实例缓存的队列为0；
步骤402：收集全局VNF实例队列状态信息，网络节点、链路状态信息，并将全局状态信息作为DQN网络的输入；
步骤403：判断节点或链路是否失效，若是，则继续跳转到步骤404，否则执行步骤405；
步骤404：将部署在该节点或由该链路传输数据流的VNF作为待迁移VNF；
步骤405：通过公式：
计算最优的VNF迁移策略及CPU资源分配策略，
其中所述rt为时隙t的系统状态向量，所述w为DQN网络的权重；
步骤406：执行最优行动并更新队列；
步骤407：判断调度时隙是否达到最大的时隙值Tmax，若不满足，则跳转到步骤402，否则算法结束。
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。
Claims (1)
1.一种虚拟网络功能智能迁移方法，其特征在于：在该方法中，在每个离散时隙上，在保证每个切片的最高平均时延约束、节点缓存资源消耗限制以及链路带宽容量限制的前提下，根据各个虚拟网络功能(Virtualized Network Function，VNF)实例的队列状态信息、节点状态信息以及链路状态信息，以最小化通用服务器平均运行能耗为目标，为切片制定最佳的VNF迁移策略并动态地调整网络内节点CPU资源的分配策略；具体包括以下步骤：
S1：建立VNF实例多队列的时延模型和系统能耗模型；
所述时延模型具体为：网络切片i的VNF调度总时延由处理时延和链路传输时延两部分组成，且CPU资源的分配策略影响VNF的处理时延；所述处理时延由下式计算：
式中，
表示节点h的VNF实例
的数据包达到过程的均值，Qh,j表示节点h的VNF实例
当前的队列长度大小，
表示数据包大小的均值，
表示
的服务速率，B(h,fij)表示VNF fij∈F是否部署在节点h；
所述链路传输时延由下式计算：
式中，σij表示网络切片i调度VNF fj∈F的期望平均次数，P(fp|fj,i)表示用户请求切片Si的数据流在VNF fj被处理后传输至VNF fp的比例，δ(h,l)表示两个节点之间的数据传输时延；
VNF实例队列信息具体为：按照函数式：
计算各VNF实例在每个调度时隙上更新的缓存队列大小，式中，Qh,j(t+1)表示节点h的VNF实例
在下一个调度时隙开始时的队列长度大小，Qh,j(t)表示节点h的VNF实例
在当前调度时隙开始时的队列长度大小，
表示节点h的VNF实例
在当前调度时隙开始时新到达的总数据量，
表示节点h的VNF实例
在当前调度时隙开始时的服务速率；
所述能耗模型主要包含两部分内容：节点处于开启状态时产生的基础能耗和随着VNF实例负载变化产生的运行能耗；具体表示为：
式中，
表示在时刻t节点h处于开启的状态，否则为0；μh∈(0,1)表示节点h恒定功耗百分比，Ph表示节点h的CPU资源均被占用产生的最大能耗，ρh表示负载密度；
S2：将VNF的迁移和CPU资源的分配建立成基于受限马尔可夫决策过程(ConstrainedMarkov Decision Process，CMDP)的随机优化模型，该模型以最小化通用服务器平均运行能耗为目标，同时受限于各切片平均时延约束以及平均缓存、带宽资源消耗约束；所述基于CMDP的随机优化模型表示为最小化期望累积折扣回报：
其中：Ψ(t)为时隙t内的VNF迁移的动作向量，Z(t)为时隙t内每个VNF的CPU资源分配动作集合，r(t)为系统在时隙t的状态向量，
为通用服务器平均运行能耗；
切片时延约束为：所有的切片端到端时延都需要满足
其中
为切片i的平均端到端时延，τi为切片Si端到端时延约束；
缓存资源消耗约束为：所有节点缓存新到达的数据量应满足
其中
为期望累积折扣缓存资源消耗，χh为节点h租用的缓存资源总量；
所述带宽资源消耗约束为：所有链路传输的数据量应满足
其中
为期望累积折扣带宽资源消耗，Δh,l为节点h至节点l的链路带宽容量；
S3：通过拉格朗日理论将CMDP问题转化为不受限马尔可夫决策过程MDP问题，即将优化目标从找到最优策略转化为寻找最佳的Q函数；
优化目标转化为获得状态r的最优策略π*,β，且满足
其中所述最优策略π*,β包括VNF迁移策略和CPU资源的分配方案，所述Q*,β(r,a)为最优行动值函数，所述a为动作向量，所述r为系统状态向量；
S4：建立基于强化学习框架的VNF智能迁移在线学习方法来近似行为值函数，从而在每个离散的时隙内根据当前系统状态为每个网络切片寻求最佳的VNF迁移策略及CPU资源分配方案，具体如下：
利用深度Q学习训练函数fap来近似Q值的分布，该方法把状态r作为输入，然后经过神经网络分析后对应输出每一个动作的Q值，其主要过程是在Q网络的基础上增加一个目标Q网络来计算目标Q值，这两个网络结构相同但参数不同，通过最小化Q网络和目标Q网络之间的损失函数来优化权重w，来实现网络预测性能的提升；
价值函数近似的具体步骤为：
1)初始化经验回放池、Q网络、目标Q网络、拉格朗日乘子；
2)使用ε-greedy策略生成行动at，即随机选择一个概率p，若p≥ε，则计算VNF迁移及CPU资源分配策略
否则选择一个随机的行动
3)执行行动at，获得拉格朗日回报，并观察下一时刻状态，将经验样本存入经验回放池；
4)从经验回放池中随机抽取一组经验样本，利用目标Q网络计算目标Q值，并利用梯度下降法对权重进行更新；
5)每隔时间长度Tq更新目标Q网络；
6)利用随机次梯度法在线更新所述拉格朗日乘子；
7)经过数次迭代后，判断是否满足收敛条件；
8)如果当前所述的VNF迁移和CPU资源分配策略满足收敛条件，则将所述VNF迁移和CPU资源分配策略通知给虚拟网络调度器以及资源管理实体；
9)按照各所述VNF迁移和CPU资源分配策略，所述每个节点VNF实例按照队列更新方式更新所述缓存队列大小，并等待下一个调度时隙；
在每个调度时隙上，给定所述每个节点VNF实例的队列状态，系统的节点状态和链路状态，计算所述最优的VNF迁移与资源分配方案，具体步骤为：
1)监测当前时隙t下的全局状态，将当前状态r(t)作为Q网络的输入；
2)如果节点或链路在时隙t失效，为了提高网络的可靠性，系统在对相应的VNF进行迁移的基础上，选择最优的VNF迁移策略
对能耗与时延进行优化；
3)否则直接选择最优的迁移策略
4)等待下一个调度时隙t+1。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910382250.9A CN110275758B (zh) | 2019-05-09 | 2019-05-09 | 一种虚拟网络功能智能迁移方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910382250.9A CN110275758B (zh) | 2019-05-09 | 2019-05-09 | 一种虚拟网络功能智能迁移方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110275758A CN110275758A (zh) | 2019-09-24 |
| CN110275758B true CN110275758B (zh) | 2022-09-30 |
Family
ID=67959680
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910382250.9A Active CN110275758B (zh) | 2019-05-09 | 2019-05-09 | 一种虚拟网络功能智能迁移方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110275758B (zh) |
Families Citing this family (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112311578B (zh) * | 2019-07-31 | 2023-04-07 | 中国移动通信集团浙江有限公司 | 基于深度强化学习的vnf调度方法及装置 |
| CN111130904B (zh) * | 2019-12-30 | 2022-03-29 | 重庆邮电大学 | 一种基于深度确定性策略梯度的虚拟网络功能迁移优化算法 |
| CN111371742B (zh) * | 2020-02-21 | 2022-04-29 | 重庆邮电大学 | 一种基于svdd的网络切片物理节点异常检测方法 |
| CN111404815B (zh) * | 2020-03-06 | 2021-03-16 | 武汉大学 | 一种基于深度学习的有约束路由选择方法 |
| CN111538587B (zh) * | 2020-03-06 | 2022-04-29 | 重庆邮电大学 | 一种基于负载均衡的服务功能链重配置方法 |
| CN111432005B (zh) * | 2020-03-30 | 2022-07-29 | 中科边缘智慧信息科技（苏州）有限公司 | 一种窄带弱连网络条件下服务迁移的方法 |
| CN112000459B (zh) * | 2020-03-31 | 2023-06-27 | 华为云计算技术有限公司 | 一种用于服务的扩缩容的方法及相关设备 |
| CN111538567B (zh) * | 2020-04-26 | 2023-06-09 | 国网江苏省电力有限公司信息通信分公司 | 一种边缘设备上虚拟网络功能链的部署方法和设备 |
| CN112506648B (zh) * | 2020-11-20 | 2022-05-03 | 鹏城实验室 | 一种虚拟网络功能实例的流量无状态迁移方法及电子设备 |
| CN112506658B (zh) * | 2020-12-09 | 2024-04-26 | 华南理工大学 | 一种服务链中动态资源分配和任务调度方法 |
| CN112737854B (zh) * | 2020-12-30 | 2023-06-09 | 国网河南省电力公司信息通信公司 | 一种基于能耗和服务质量的服务链迁移方法及装置 |
| CN112910960A (zh) * | 2021-01-15 | 2021-06-04 | 郑州轻工业大学 | 时延、资源和能耗感知的虚拟网络在线迁移方法和装置 |
| CN112887156B (zh) * | 2021-02-23 | 2022-05-06 | 重庆邮电大学 | 一种基于深度强化学习的动态虚拟网络功能编排方法 |
| CN113347016B (zh) * | 2021-03-10 | 2022-10-04 | 福州大学 | 基于资源占用和时延敏感的虚拟化网络功能迁移方法 |
| US20220303191A1 (en) * | 2021-03-18 | 2022-09-22 | Nokia Solutions And Networks Oy | Network management |
| CN113411819B (zh) * | 2021-05-30 | 2022-07-12 | 西安电子科技大学 | 一种5g nfv切片重配方法、系统、无线通信系统 |
| CN113608830A (zh) * | 2021-07-13 | 2021-11-05 | 全球能源互联网研究院有限公司 | 基于故障预测的vnf迁移方法及装置 |
| CN114202070B (zh) * | 2021-11-23 | 2024-10-15 | 国网北京市电力公司 | 电力数据处理方法、装置、非易失性存储介质及处理器 |
| CN114401194B (zh) * | 2021-12-29 | 2023-08-01 | 山东省计算中心（国家超级计算济南中心） | 一种支持网络功能虚拟化的动态扩展方法、平台及计算机 |
| CN114938335B (zh) * | 2022-04-27 | 2024-01-26 | 中国人民解放军战略支援部队信息工程大学 | 一种网络切片服务功能动态调度方法及装置 |
| CN115484304B (zh) * | 2022-08-02 | 2024-03-19 | 重庆邮电大学 | 一种基于轻量级学习的实时服务迁移方法 |
| CN115361288B (zh) * | 2022-08-19 | 2023-06-23 | 南京工业大学 | 一种空天地一体化场景下的服务功能链动态重构方法 |
| CN115118526B (zh) * | 2022-08-23 | 2022-11-25 | 北京润尼尔网络科技有限公司 | 一种vr设备数据迁移方法 |
| CN115765826B (zh) * | 2022-09-19 | 2024-05-31 | 西安电子科技大学 | 一种面向按需服务的无人机网络拓扑重构方法 |
| CN116436782B (zh) * | 2023-06-09 | 2023-09-29 | 中国电信股份有限公司四川分公司 | 一种体现业务意愿的确定性网络传输方法 |
| CN116528255B (zh) * | 2023-06-29 | 2023-10-10 | 中国电信股份有限公司 | 网络切片迁移方法、装置、设备及存储介质 |
| CN117082009B (zh) * | 2023-10-16 | 2024-02-27 | 天翼安全科技有限公司 | 基于软件定义安全的云资源管理方法及管理系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107203255A (zh) * | 2016-03-20 | 2017-09-26 | 田文洪 | 一种网络功能虚拟化环境中迁移节能方法和装置 |
| CN108063830A (zh) * | 2018-01-26 | 2018-05-22 | 重庆邮电大学 | 一种基于mdp的网络切片动态资源分配方法 |
| CN108900358A (zh) * | 2018-08-01 | 2018-11-27 | 重庆邮电大学 | 基于深度信念网络资源需求预测的虚拟网络功能动态迁移方法 |
| CN109062668A (zh) * | 2018-08-01 | 2018-12-21 | 重庆邮电大学 | 一种基于5g接入网络的多优先级的虚拟网络功能迁移方法 |
| WO2019052704A1 (en) * | 2017-09-15 | 2019-03-21 | NEC Laboratories Europe GmbH | APPLICATION FUNCTION MANAGEMENT USING A MANO NFV FRAMEWORK |
-
2019
- 2019-05-09 CN CN201910382250.9A patent/CN110275758B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107203255A (zh) * | 2016-03-20 | 2017-09-26 | 田文洪 | 一种网络功能虚拟化环境中迁移节能方法和装置 |
| WO2019052704A1 (en) * | 2017-09-15 | 2019-03-21 | NEC Laboratories Europe GmbH | APPLICATION FUNCTION MANAGEMENT USING A MANO NFV FRAMEWORK |
| CN108063830A (zh) * | 2018-01-26 | 2018-05-22 | 重庆邮电大学 | 一种基于mdp的网络切片动态资源分配方法 |
| CN108900358A (zh) * | 2018-08-01 | 2018-11-27 | 重庆邮电大学 | 基于深度信念网络资源需求预测的虚拟网络功能动态迁移方法 |
| CN109062668A (zh) * | 2018-08-01 | 2018-12-21 | 重庆邮电大学 | 一种基于5g接入网络的多优先级的虚拟网络功能迁移方法 |
Non-Patent Citations (2)
| Title |
|---|
| "Migration for VNF instances forming service chain";Koji sugisono等;《2018 IEEE 7th international conference on cloud networking》;20181024;全文 * |
| "基于深度信念网络资源需求预测的虚拟网络功能动态迁移算法";唐伦等;《电子与信息学报》;20190221;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110275758A (zh) | 2019-09-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110275758B (zh) | 一种虚拟网络功能智能迁移方法 | |
| CN108965024B (zh) | 一种5g网络切片基于预测的虚拟网络功能调度方法 | |
| CN111953758B (zh) | 一种边缘网络计算卸载和任务迁移方法及装置 | |
| CN109656702B (zh) | 一种基于强化学习的跨数据中心网络任务调度方法 | |
| CN109324875B (zh) | 一种基于强化学习的数据中心服务器功耗管理与优化方法 | |
| CN109167671B (zh) | 一种面向量子密钥分发业务的配用通信系统均衡负载调度方法 | |
| CN113286329B (zh) | 基于移动边缘计算的通信和计算资源联合优化方法 | |
| CN109491761A (zh) | 基于eda-ga混合算法的云计算多目标任务调度方法 | |
| CN104657221A (zh) | 一种云计算中基于任务分类的多队列错峰调度模型及方法 | |
| CN116137593B (zh) | 数字孪生辅助动态资源需求预测的虚拟网络功能迁移方法 | |
| CN112867066B (zh) | 基于5g多小区深度强化学习的边缘计算迁移方法 | |
| Rugwiro et al. | Task scheduling and resource allocation based on ant-colony optimization and deep reinforcement learning | |
| CN107566535B (zh) | 基于Web地图服务并发访问时序规则的自适应负载均衡方法 | |
| CN110784366A (zh) | Sdn中基于immac算法的交换机迁移方法 | |
| CN113596868A (zh) | 基于sdn和nfv的5g网络切片资源管理机制 | |
| CN115033359A (zh) | 一种基于时延控制的物联代理多任务调度方法和系统 | |
| CN117749796A (zh) | 一种云边算力网络系统计算卸载方法及系统 | |
| Jia et al. | A highly efficient data locality aware task scheduler for cloud-based systems | |
| CN114938372B (zh) | 一种基于联邦学习的微网群请求动态迁移调度方法及装置 | |
| CN111708620A (zh) | 一种具有计费机制的任务卸载方法 | |
| CN117149351A (zh) | 一种基于预测的边缘协同计算迁移方法及系统 | |
| CN116302507A (zh) | 基于休假排队的应用服务动态部署与更新方法 | |
| Cui et al. | Resource-Efficient DNN Training and Inference for Heterogeneous Edge Intelligence in 6G | |
| CN115361453A (zh) | 一种面向边缘服务网络的负载公平卸载与迁移方法 | |
| Li et al. | Energy-efficient offloading based on hybrid bio-inspired algorithm for edge–cloud integrated computation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240611 Address after: 1003, Building A, Zhiyun Industrial Park, No. 13 Huaxing Road, Henglang Community, Dalang Street, Longhua District, Shenzhen City, Guangdong Province, 518000 Patentee after: Shenzhen Wanzhida Technology Transfer Center Co.,Ltd. Country or region after: China Address before: 400065 Chongqing Nan'an District huangjuezhen pass Chongwen Road No. 2 Patentee before: CHONGQING University OF POSTS AND TELECOMMUNICATIONS Country or region before: China |