CN109543818A

CN109543818A - 一种基于深度学习模型的链路评估方法和系统

Info

Publication number: CN109543818A
Application number: CN201811221654.1A
Authority: CN
Inventors: 徐亦达; 李超; 刁博宇; 安竹林; 徐勇军
Original assignee: Institute of Computing Technology of CAS
Current assignee: Institute of Computing Technology of CAS
Priority date: 2018-10-19
Filing date: 2018-10-19
Publication date: 2019-03-29

Abstract

本发明涉及一种基于深度学习模型的链路评估方法，包括：设置深度学习模型结构；采集网络中链路的流量数据和该链路的占用度数据为数据对；对所有该数据对进行划分以建立训练集和测试集；以该训练集对该深度学习模型进行训练，确定该深度学习模型的参数；以该测试集对该深度学习模型进行测试，若测试正确率小于测试阈值，则调整该参数并对该深度学习模型重新训练，反之则以该深度学习模型为链路评估模型；通过该链路评估模型以该链路的当前流量数据获取该链路的当前占用度，以对该链路进行评估。

Description

一种基于深度学习模型的链路评估方法和系统

技术领域

本发明属于信息技术领域，特别适用于无线网络资源分配领域。

背景技术

随着无线通信技术的飞速发展，无线通信设备呈爆炸式增长，频谱资源变得越来越紧张，同时通信设备之间相互干扰，使得本来有限的频谱资源利用率严重不足。无线网络的通信设备之间的相互干扰，会造成数据的丢失，数据丢失后一般采用重传机制，该机制虽然在一定程度上可以提高数据传输成功率但也造成能量的浪费。如果网络的上层协议在选择路径进行传输数据时选择链路质量较好的链路进行传输，则会提高数据传输率，并且还能因减少数据的重传而节省能量。节点间的链路质量是周期性变化的，即，上一时刻链路质量较好的链路下一时刻的质量不一定也好。如果能够知道下一时刻的链路质量，上层协议选择下一时刻质量较好的链路进行数据传输则可以进一步提交数据传输成功率。另外，在同一无线网络下，网络由多个数据链路组成，不同通信设备的发送的流量各不相同，在上层数据传输协议的控制下，经常会出现链路占用程度差异很大的情况，大部分得流量是由小部分链路传输完成的。因此，挖掘网络流量与数据链路占用程度的非线性关系，实现网络资源的平衡调度分配，是提高网络频谱资源利用率的有效途径。

基于最优化理论是链路质量评估的常用方法，但是这些方法大都是启发式算法，很难适用于不断变化的网络流量与链路占用程度的关系挖掘。因此，本发明提出一种可以在不同网络流量下对链路质量进行评估，自适应挖掘网络流量与链路占用程度关系的算法。此算法采用深度学习模型对链路占用程度进行评估，它可以从不断变化的网络流量中提取高度抽象的特征，挖掘网络流量与链路占用程度直接的潜在关系。

发明内容

为解决上述问题，本发明公开了一种基于深度学习模型的链路评估方法，包括：设置深度学习模型结构；采集网络中链路的流量数据和该链路的占用度数据以构成数据对，并将所有该数据对进行划分以建立训练集和测试集；以该训练集对该深度学习模型进行训练，确定该深度学习模型的参数；以该测试集对该深度学习模型进行测试，若测试正确率小于测试阈值，则调整该参数并对该深度学习模型重新训练，反之则以该深度学习模型为链路评估模型；通过该链路评估模型以当前链路的流量数据获取该链路的当前占用度。

其中所述深度学习模型为多层神经网络结构，包括输入层、多个隐藏层和输出层，该输入层包括N个输入神经元，该输入神经元一一对应于该链路的N个节点，每个该隐藏层包括L个计算神经元，该计算神经元满足y＝φ(ωx+b)，该输出层包括M个输出神经元，该输出神经元一一对应于该网络的M个该链路，其中φ为非线性函数，x为该计算神经元的输入矢量，y为该计算神经元的输出矢量，ω、b为该深度学习模型的参数，ω为权重矢量，b为偏置矢量，κ为矫正常数，L、M、N为正整数，1≤κ≤10，φ为双曲正切函数。

本发明所述的链路评估方法，通过反向传播算法对该链路评估模型进行训练，且当训练该链路评估模型的损失函数l_s小于损失阈值时，停止训练并获取ω和b，其中为该数据对的流量数据通过该链路评估模型得到的实际输出，y_i为该数据对的占用度数据。

本发明所述的链路评估方法，通过衰减方式对权重矢量ω进行调整，即其中ω'为权重矢量ω在上一轮调整中获得的调整值，η为训练该链路评估模型的自适应学习率。

本发明所述的链路评估方法，采用泊松流量模型或自相似流量模型采集该数据对。

本发明还涉及一种基于深度学习模型的链路评估系统，包括：

模型构建模块，用于设置深度学习模型结构；

数据采集模块，用于采集网络中链路的流量数据和该链路的占用度数据以构成数据对，并将所有该数据对进行划分以建立训练集和测试集；

模型训练模块，用于以该训练集对该深度学习模型进行训练，确定该深度学习模型的参数；

模型测试模块，用于以该测试集对该深度学习模型进行测试，若测试正确率小于测试阈值，则调整该参数并对该深度学习模型重新训练，反之则以该深度学习模型为链路评估模型；

链路评估模块，用于通过该链路评估模型以当前链路的流量数据获取该链路的当前占用度。

本发明所述的链路评估系统，所述深度学习模型为多层神经网络结构，包括输入层、多个隐藏层和输出层，该输入层包括N个输入神经元，该输入神经元一一对应于该链路的N个节点，每个该隐藏层包括L个计算神经元，该计算神经元满足y＝φ(ωx+b)，该输出层包括M个输出神经元，该输出神经元一一对应于该网络的M个该链路，其中φ为非线性函数，x为该计算神经元的输入矢量，y为该计算神经元的输出矢量，ω为权重矢量，b为偏置矢量，ω、b为该参数，κ为矫正常数，L、M、N为正整数，1≤κ≤10。

本发明所述的链路评估系统，所述模型训练模块具体包括：通过反向传播算法对该链路评估模型进行训练，其中训练该链路评估模型的损失函数为当l_s小于损失阈值时，停止训练并获取ω和b，为该数据对的流量数据通过该链路评估模型得到的实际输出，y_i为该数据对的占用度数据。

本发明所述的链路评估方法，所述模型测试模块还包括：参数调整模块，用于通过衰减方式对权重矢量ω进行调整，其中ω'为权重矢量ω在上一轮调整中获得的调整值，η为训练该链路评估模型的自适应学习率。

附图说明

图1是本发明实施例的一种基于深层学习模型的链路评估方法的深层学习模型结构示意图。

图2是本发明实施例的一种基于深层学习模型的链路评估方法流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图，对本发明提出的一种基于深层学习模型的链路评估方法方法和系统进一步详细说明。应当理解，此处所描述的具体实施方法仅仅用以解释本发明，并不用于限定本发明。

在无线网络中，挖掘网络流量与链路占用程度的关系非常复杂，其受链路质量、源和目的的位置和网络干扰等多种因素影响。本发明提出了一种链路评估方法。此方法基于深度学习模型对链路占用情况进行分析，用于挖掘网络流量与链路占用程度隐藏的关系。

在一个无线网络中，网络流量的模型有两种：泊松流量、自相似流量。

泊松流量模型是目前无线网络中应用最广泛的网络流量描述模型。在此模型中，数据包到达间隔时间t符合参数λ的指数分布，此模型的均值和方差都为λ。泊松流量模型的概率密度函数如公式(1)所示。

f(t)＝λe^-λt (1)

自相似过程是一个复杂的带有自相似特性的过程。自相似特性是互联网流量中的普遍的特征，它包含流量的长期依赖性、突发性以及在不同时间尺度上的相关性。本发明借助帕累托分布产生自相似流量。自相似流量模型的概率密度函数如公式(2)所示。

其中，α、β分别是分布的形状和尺度参数，α＞0，β＞0。

为了利用深度学习的方法对网络在不同流量模型下的链路占用情况，首先引入网络的输入流矢量X，X是一个N*1的矢量，矢量中的每个元素为x_n，x_n为每个节点的的流量数据，N是网络中的总节点数，每一个实体的表达式如公式3所示，其中0＜n≤N，n为正整数。

其中d是节点需要输入的流量，d的大小由前述流量模型的密度概率公式(1)或(2)给出，即d＝f(t)。

图1是本发明实施例的一种基于深层学习模型的链路评估方法的深层学习模型结构示意图。如图1所示，本发明的深度学习模型是由多层网络结构组成，下面详细介绍一下深度学习模型的组成结构。深度学习模型由多层组成，具体在本发明的实施例中，采用4层结构，分别是输入层、隐藏层1、隐藏层2和输出层，本发明并不以此为限。除了输入层以外的每一层都是由多个计算神经元组成的，计算神经元是一个具备非线性函数功能的计算器。神经元通过线性组合多个带权重的输入，然后通过某种非线性激活函数得到单输出。单个神经元的操作如公式(4)所示。

y＝φ(ωx+b) (4)

其中x是计算神经元的输入矢量，y是计算神经元的输出矢量，ω是权重矢量，b是偏置矢量，φ是激活函数。本发明中输入矢量x是输入流矢量X，输入矢量x的长度N为网络中的节点数。输出矢量y是链路的占用程度矢量，输出矢量y的长度M是网络中链路的数目。链路评估方法包括训练和测试两个阶段，深度学习模型中的权重矢量ω和偏置矢量b是通过模型的训练来确定的。

深度学习模型的训练集是由通过网络嗅探器在不同流量模型下抓取的100000个数据对组成，每个数据对包括输入流矢量和其对应的链路占用程度矢量。于本发明实施例中，激活函数φ采用tanh函数即双曲正切函数，其输出是非线性的，如公式(5)所示。

隐藏层1和隐藏层2神经元的个数L如公式(6)所示。

其中N为输入层神经元数即网络中节点数目，M为输出层神经元数即网络中链路的数目，κ为矫正常数，κ∈[1,10]。

在训练阶段，本发明采用交叉熵作为损失函数，如公式(7)所示。

其中为训练阶段的实际输出，y_i为训练样本的期望输出，即用于训练的数据对中的占用度数据。

本发明采用反向传播算法(BackPropagation，BP)对深度模型进行训练。BP算法本质上是以交叉熵为目标函数，按梯度下降法求其目标函数达到最小值的算法，如公式(8)所示。首先对每一个训练样本设定一个期望输出值，然后对模型输入信号由输入层经隐藏层向输出层传播，即信号的正向传播。在信号的向前传递过程中网络的权值是固定不变的，如果在输出层不能得到期望的输出，则进行误差信号的反向传播过程。误差是实际输出与期望输出的差，本发明中由交叉熵给出。按照交叉熵最小这一原则，由输出层往中间层逐层向前传播，在此过程中修正网络的连接权，即误差信号的逆传播。随着工作信号的正向传播和误差信号的逆传播过程的交替反复进行，网络的实际输出逐渐向对应的期望输出逼近，网络对训练样本输出的正确率不断上升。

其中ω'为权重矢量ω在上一轮调整中获得的调整值，η为自适应学习率。

在训练阶段，本发明训练截止的条件是损失函数l_s≤0.01，动量因子为0.09，学习率η为自适应学习率，如公式(9)所示。

gⁱ是在利用梯度下降方法确定权重参数ω的第m次迭代的偏导数由此可以看出随着迭代下降次数m的增多，学习率η是逐渐减小的。

在测试阶段，通过网络嗅探器在不同流量模型下抓取5000个测试样本数据对，测试训练好的深度学习模型，查看深度学习模型是否出现过拟合即测试正确率低于90％，如果出现过拟合，则采用权重衰减的方法对模型重新进行训练。权重衰减是指随着梯度下降的次数不断减少权重的比例，具体如公式(10)所示。

若深度学习模型未出现过拟合即测试正确率不低于90％，则以完成测试的深度学习模型为链路评估模型。

图2是本发明实施例的一种基于深层学习模型的链路评估方法流程图。如图2所示，本发明的主流程包括如下步骤：

步骤S1，确定深度学习模型结构；

步骤S2，采集网络中链路的流量数据和对应链路的占用度，将流量数据和占用度构成数据对；

步骤S3，将数据对划分为训练集和测试集；

步骤S4，利用训练集，以损失函数l_s小于0.01为停止条件，利用反向传播算法对深度学习模型进行反复训练，确定深度学习模型的权重矢量和偏置矢量；

步骤S5，利用测试集，对训练好的深度学习模型进行测试；

步骤S6，判断深度学习模型是否过拟合，即如果测试正确率大于90％，则未过拟合，完成测试，转向步骤S8，否则转向步骤S7；

步骤S7，对权重矢量进行衰减，并转向步骤4；

步骤S8，将完成测试的深度学习模型做为链路评估模型，以链路的当前流量数据通过链路评估模型得到对应的当前占用度，从而完成对链路的占用度评估。

本发明具有如下优点：

高度的并行性，深度学习由许多相同的简单处理单元并行组合连接而成，虽然每个处理单元的功能简单，但大量功能简单的单元的并行活动，却具有非常强大的处理能力，这使得深度学习模型能够分析复杂网络流量下的链路占用情况；

高度的非线性作用，深度学习模型中的每个神经元都可以接受大量其它神经元的输入，而且每个神经元的输入与输出之间是非线性关系。神经元之间的这种互相制约和互相影响的关系，实现了整个网络从输入到输出状态空间的非线性映射，因此它能以任意精度逼近任意连续非线性函数；

良好的容错性能与联想记忆功能，深度学习模型通过自身的网络结构能够实现对信息的记忆，其所记忆的信息存储在神经元之间的连接权值中。从单个权值看不出所存储的信息内容，而是由于分布式的存储方式，使得神经网络具有良好的容错性，并能进行聚类分析、特征提取、记忆复原等模式信息处理工作。深度学习模型良好的容错性能还表现在当系统的硬件或软件出现某些神经元失效的情况时，整个模型仍然能继续工作。深度学习模型的联想记忆功能使得它具有很强的不确定信息处理能力。即使输入信息不完全、不准确或模糊不清，深度学习模型仍然能够联想思维存在于记忆中的事物的完整图象。只要输入的模式接近于训练样本，系统就能给出正确的推理结论；

自适应、自主学习功能，深度学习模型通过训练和学习来获得网络的权值和结构，呈现出很强的自主学习能力和对环境的适应能力，可以很好的适应网络流量模型的变化。

Claims

1.一种基于深度学习模型的链路评估方法，其特征在于，包括：

设置深度学习模型结构；

采集网络中链路的流量数据和该链路的占用度数据以构成数据对，并将所有该数据对进行划分以建立训练集和测试集；

以该训练集对该深度学习模型进行训练，确定该深度学习模型的参数；

以该测试集对该深度学习模型进行测试，若测试正确率小于测试阈值，则调整该参数并对该深度学习模型重新训练，反之则以该深度学习模型为链路评估模型；

通过该链路评估模型以该链路的当前流量数据获取该链路的当前占用度。

2.如权利要求1所述的链路评估方法，其特征在于，所述深度学习模型为多层神经网络结构，包括输入层、多个隐藏层和输出层，该输入层包括N个输入神经元，该输入神经元一一对应于该链路的N个节点，每个该隐藏层包括L个计算神经元，该计算神经元满足y＝φ(ωx+b)，该输出层包括M个输出神经元，该输出神经元一一对应于该网络的M个该链路，其中φ为非线性函数，x为该计算神经元的输入矢量，y为该计算神经元的输出矢量，ω、b为该深度学习模型的参数，ω为权重矢量，b为偏置矢量，κ为矫正常数，L、M、N为正整数，1≤κ≤10。

3.如权利要求2所述的链路评估方法，其特征在于，φ为双曲正切函数。

4.如权利要求2或3所述的链路评估方法，其特征在于，通过反向传播算法对该链路评估模型进行训练，且当训练该链路评估模型的损失函数l_s小于损失阈值时，停止训练并获取权重矢量ω和偏置矢量b，其中为该数据对的流量数据通过该链路评估模型得到的实际输出，y_i为该数据对的占用度数据。

5.如权利要求4所述的链路评估方法，其特征在于，通过衰减方式对权重矢量ω进行调整，即其中ω'为权重矢量ω在上一轮调整中获得的调整值，η为训练该链路评估模型的自适应学习率。

6.如权利要求1所述的链路评估方法，其特征在于，采用泊松流量模型或自相似流量模型采集该数据对。

7.一种基于深度学习模型的链路评估系统，用于评估网络流量与链路占用度之间的关系，其特征在于，包括：

模型构建模块，用于设置深度学习模型结构；

8.如权利要求7所述的链路评估系统，其特征在于，所述深度学习模型为多层神经网络结构，包括输入层、多个隐藏层和输出层，该输入层包括N个输入神经元，该输入神经元一一对应于该链路的N个节点，每个该隐藏层包括L个计算神经元，该计算神经元满足y＝φ(ωx+b)，该输出层包括M个输出神经元，该输出神经元一一对应于该网络的M个该链路，其中φ为非线性函数，x为该计算神经元的输入矢量，y为该计算神经元的输出矢量，ω、b为该深度学习模型的参数，ω为权重矢量，b为偏置矢量，κ为矫正常数，L、M、N为正整数，1≤κ≤10。

9.如权利要求8所述的链路评估系统，其特征在于，所述模型训练模块具体包括：通过反向传播算法对该链路评估模型进行训练，且当训练该链路评估模型的损失函数l_s小于损失阈值时，停止训练并获取权重矢量ω和偏置矢量b，其中为该数据对的流量数据通过该链路评估模型得到的实际输出，y_i为该数据对的占用度数据。

10.如权利要求9所述的链路评估方法，其特征在于，所述模型测试模块还包括：参数调整模块，用于通过衰减方式对权重矢量ω进行调整，其中ω'为权重矢量ω在上一轮调整中获得的调整值，η为训练该链路评估模型的自适应学习率。