CN108322433A - 一种基于流检测的网络安全检测方法 - Google Patents

Abstract

本发明公开了一种基于流检测的网络安全检测方法。本方法为：1)将监听的网络数据实时地传送到分布式流处理平台；2)分布式流处理平台对网络数据包进行实时解析，再根据网络数据协议特征库对解析的网络数据内容分别进行特征匹配和访问统计，将匹配确认为异常或根据访问统计确认为异常的网络流量数据发送给数据处理平台进行存储；3)数据处理平台对存储的网络流量数据进行聚类分析、分类，然后根据得到的网络数据类别动态更新所述网络数据协议特征库。本发明在网络流量异常特征检测时具备可扩展性、可配置性，在计算能力上具备线性扩展性能力，具有较好的经济和社会效益。

Description

一种基于流检测的网络安全检测方法

技术领域

本发明属于数据通信网络安全领域，涉及一种基于流检测的数据通信网络安全检测分析方法。

背景技术

近几十年来，全球通信网络的发展进程可以由摩尔定律和古尔德定律进行诠释，科技快速进步的同时也推动通信数据网的持续增长。据预测，2019年，全球数据月均流量将是2014年的2.81倍，年复合增长率为23％。未来，以大数据、云计算服务为代表的高性能计算技术将提高数据的使用价值，推动各行业的数据化进程，进一步带动数据传输需求。到2020年全球数据量将达到44ZB，是2010年数据量的数倍之多。

数据通信网络是实现数据传输的基础设施，也是国家信息基础建设的根本，其安全性不言而喻。一次次触目惊心的网络安全事件，让人们陷入恐慌的同时，也不断意识到网络安全防范迫在眉睫。历史经验告诉我们，任何先进技术都是“双刃剑”，一方面可以造福社会、造福人民，另一方面也可以被一些人用来损害社会公共利益和民众利益。从近两年信息化发展来看，网络安全威胁和风险日益突出，并日益向政治、经济、文化、社会、生态、国防等领域传导渗透。特别是国家关键信息基础设施面临较大风险隐患，网络安全防控能力薄弱，难以有效应对国家级、有组织的高强度网络攻击。目前传统互联网“筑墙式”的安全边界防护方式已经力不从心，亟须新技术和新理念的防护。

发明内容

为了满足日益复杂的数据通信网络安全防控需求，本发明提供一种基于流检测的数据通信网络安全检测分析方法。

检测分析系统包括网络数据监听、分布式实时数据传输通道、分布式流处理平台、网络数据议特征库和数据处理平台。针对网络数据包分析结果，通过分布式实时数据传输通道，系统将监听的数据实时发送到分布式流处理平台，分布式流处理平台对接收到的网络数据包进行实时数据解析，并通过网络数据协议特征库进行数据特征匹配，将经过匹配确认为异常的网络流量数据发送给数据处理平台进行存储，数据处理平台对存储的网络流量数据进行聚类分析、分类训练，并动态更新网络数据协议特征库。

本发明的技术方案为：

一种基于流检测的网络安全检测方法，其步骤包括：

1)将监听的网络数据实时地传送到分布式流处理平台；

2)分布式流处理平台对网络数据包进行实时解析，再根据网络数据协议特征库对解析的网络数据内容分别进行特征匹配和访问统计，将匹配确认为异常或根据访问统计确认为异常的网络流量数据发送给数据处理平台进行存储；

3)数据处理平台对存储的网络流量数据进行聚类分析、分类，然后根据得到的网络数据类别动态更新所述网络数据协议特征库。

进一步的，所述网络数据内容包括：数据包的协议、发送地址、目的地址、发送端口、目的端口、数据包长度和数据包头部校验和。

进一步的，所述特征匹配是将网络数据内容与网络数据异常特征信息通过匹配引擎进行异常判断。

进一步的，特征匹配时，采用恒虚警率异常探测算法进行异常判断，判断网络数据是否为异常网络数据。

进一步的，根据特征匹配判断是否为异常的方法为：计算已知的正常网络数据的均值和协方差矩阵的最大似然估计值；对未知的网络数据，将该网络数据的数据特征减去均值得到的转置矩阵乘以最大似然估值的逆矩阵，然后乘以数据特征减去均值的差，如果得到的值小于设定阈值则判定为异常。

进一步的，根据访问统计确认是否为异常的方法为：统计一定时间内目标网络地址的所有访问，判断单位时间内不同协议类型的会话统计信息、应用类型的访问统计信息和收发的含设定协议标识位的数据分组数量是否在设定的正常范围之内，如果数据不在正常范围内，则确认为异常。

进一步的，所述网络数据协议特征库包括网络流量数据基本特征和网络流量数据异常特征。

进一步的，所述网络流量数据基本特征包括发送地址、目的地址、发送端口、目的端口、数据包长度和数据包头部校验；所述网络流量数据基本特征根据异常的端口访问和数据包流速的大小来判断异常行为。

进一步的，利用模糊多标签SVM方法对存储的网络流量数据进行聚类分析、分类，得到网络数据类别。

本发明的有益效果是：

针对网络流量异常检测的问题，传统的解决方法有基于规则、统计分析、有限状态机等方法，这些方法能够在一定的程度上检测流量异常，但在处理数据量、实时性等方面存在不足。本发明提出了一种基于网络流量检测与分析方法，在网络流量异常特征检测时具备可扩展性、可配置性，在计算能力上具备线性扩展性能力，具有较好的经济和社会效益。

附图说明

图1为本发明系统框架结构图。

具体实施方式

为了便于本领域技术人员理解本发明的技术内容，下面结合附图对本发明内容进一步阐释。

图1是本发明的系统框架结构图。下面将根据附图并结合实际情况，来详细说明本发明。

(1)网络数据监听。通过交换机把1个或多个端口的数据转发到某一个端口实现对网络的监听。

(2)监听数据的实时传输。将监听的数据实时地传送到分布式流处理平台，并利用分布式实时数据传输通道的队列化及可缓存的特性，实现监听数据的有序化、可扩容性管理。

(3)利用分布式流处理平台对数据进行实时处理。分布式流处理平台对网络数据包进行数据解析、特征匹配及访问统计。先将网络数据包根据协议信息进行实时解析，得到数据包的协议、发送地址、目的地址、发送端口、目的端口、数据包长度和数据包头部校验和，再根据解析的网络数据内容分别进行特征匹配和访问统计，特征匹配是将网络数据与网络数据异常特征信息通过匹配引擎进行异常判断，访问统计是通过统计一定时间内特定网络地址的所有访问进行异常判断，如单位时间内不同协议类型的会话统计信息、应用类型的访问统计信息和收发的含特定协议标识位的数据分组数量及其比值(TCP_SYN_ACK_receive/TCP_SYN_send的比值)是否在规定的正常范围之内，如TCP连接次数、UDP连接次数以及TCP/UDP的流量、不同应用的流量分布、访问次数、目标地址位置、访问的IP地址网段分布等参数。如果数据不在正常范围内，则将数据直接存储到数据处理平台。在特征匹配时，采用恒虚警率异常探测算法，该算法通过广义似然比检验检测异常值。假设已知正常网络数据特征和已知正常网络数据个数。首先计算已知的正常网络数据的均值和协方差矩阵的最大似然估计值，对未知的网络数据，计算其是否异常的方法是该网络数据的数据特征减去均值得到的转置矩阵乘以最大似然估值的逆矩阵，然后乘以数据特征减去均值的差，最后通过阈值来判断其是否为异常网络数据，如果算子的值大于等于阈值就正常，如果小于阈值就表示异常。

(4)网络数据协议特征库的动态更新。网络数据协议特征库包括网络流量数据基本特征和网络流量数据异常特征。根据协议类型，网络流量数据基本特征具体包括发送地址、目的地址、发送端口、目的端口、数据包长度和数据包头部校验，网络流量数据基本特征根据异常的端口访问和数据包流速的大小来判断异常行为。

5)基于模糊多标签支持向量基(Support Vector Machine，SVM)的网络数据分类。在网络数据存储结束后，利用模糊多标签SVM方法对数据进行训练和分类。利用该分类器对测试网络数据进行分类，得到所有网络数据的类别，并动态更新网络数据协议特征库。设K是类别个数，因此需要训练K个独立的SVM分类器，以适用于多类别数据的分类。设p_i表示第i个数据的特征，t_i表示第i个数据的类别，则每个网络数据可用如下公式表示：

{(p_i，t_i，a_i，k)|p_i∈Γ^d}a_i，k∈(0，1)

其中k＝1,2,…,K；i＝1,2,…,n。n表示需要对n个K类数据样本进行训练，Г^d表示训练样本空间集，d表示训练样本空间维度，a_i,k是第i个数据隶属于第k个类别的概率值，所有数据隶属于第k个类别的概率可表示成如下向量形式，a_k＝[a_1,k a_2,k … a_i,k … a_n,k]，建立模糊多标签SVM的目标函数如下：

目标函数有两部分，第一部分是间隔，第二部分是错误分类点的个数，其中参数w表示分类特征的权重，b表示分类错误偏差，||w||表示参数w的范数，ρ表示松弛变量，L表示误差惩罚系数，ρ_i表示被添加到第i个训练样本的错误分类程度。

在支持向量机的基础上给每个样本分别赋一个标识，即对不同的样本采用不同的误差惩罚系数，在构造目标函数时，使不同的样本有不同的贡献，对噪声或孤立点赋予很小的权值，从而达到消除噪声或孤立点的目的，再则通过引入松弛变量，可以用来解决分类问题中样本的“偏斜”问题。最终用拉格朗日乘子法将上述带约束的优化问题转化为无约束优化问题，再通过其对偶形式进行求解，可得最终的模糊多标签SVM分类器。利用该分类器对测试网络数据进行分类，从而得到所有网络数据的类别。

以上包含了本发明优选实施例的说明，这是为了详细说明本发明的技术特征，并不是想要将发明内容限制在实施例所描述的具体形式中，依据本发明内容主旨进行的其他修改和变型也受本专利保护。本发明内容的主旨是由权利要求书所界定，而非有实施例的具体描述所界定。

Claims (9)

1.一种基于流检测的网络安全检测方法，其步骤包括：

1)将监听的网络数据实时地传送到分布式流处理平台；

2)分布式流处理平台对网络数据包进行实时解析，再根据网络数据协议特征库对解析的网络数据内容分别进行特征匹配和访问统计，将匹配确认为异常或根据访问统计确认为异常的网络流量数据发送给数据处理平台进行存储；

3)数据处理平台对存储的网络流量数据进行聚类分析、分类，然后根据得到的网络数据类别动态更新所述网络数据协议特征库。

2.如权利要求1所述的方法，其特征在于，所述网络数据内容包括：数据包的协议、发送地址、目的地址、发送端口、目的端口、数据包长度和数据包头部校验和。

3.如权利要求1或2所述的方法，其特征在于，所述特征匹配是将网络数据内容与网络数据异常特征信息通过匹配引擎进行异常判断。

4.如权利要求3所述的方法，其特征在于，特征匹配时，采用恒虚警率异常探测算法进行异常判断，判断网络数据是否为异常网络数据。

5.如权利要求3所述的方法，其特征在于，根据特征匹配判断是否为异常的方法为：计算已知的正常网络数据的均值和协方差矩阵的最大似然估计值；对未知的网络数据，将该网络数据的数据特征减去均值得到的转置矩阵乘以最大似然估值的逆矩阵，然后乘以数据特征减去均值的差，如果得到的值小于设定阈值则判定为异常。

6.如权利要求1或2所述的方法，其特征在于，根据访问统计确认是否为异常的方法为：统计一定时间内目标网络地址的所有访问，判断单位时间内不同协议类型的会话统计信息、应用类型的访问统计信息和收发的含设定协议标识位的数据分组数量是否在设定的正常范围之内，如果数据不在正常范围内，则确认为异常。

7.如权利要求1所述的方法，其特征在于，所述网络数据协议特征库包括网络流量数据基本特征和网络流量数据异常特征。

8.如权利要求7所述的方法，其特征在于，所述网络流量数据基本特征包括发送地址、目的地址、发送端口、目的端口、数据包长度和数据包头部校验；所述网络流量数据基本特征根据异常的端口访问和数据包流速的大小来判断异常行为。

9.如权利要求1所述的方法，其特征在于，利用模糊多标签SVM方法对存储的网络流量数据进行聚类分析、分类，得到网络数据类别。