CN101854366B - 一种对等网络流量识别的方法及装置 - Google Patents

Abstract

本发明公开了一种对等(P2P)网络流量识别的方法及装置，测量一定数量的数据流分组长度，根据设置的长度阈值将数据流分组分成两类，并计算这两类分组的类型比，如果所述分组类型比大于设置的类型阈值区间的上限，则认为该数据流为P2P网络流量。采用本发明所述的方法及装置，通过分组类型比能使数据流迅速而有效的被划分，从而快速有效的识别出P2P网络流量，提高了识别效率和准确度，并且在很大程度上降低了流量检测方案带来的系统开销。

Description

一种对等网络流量识别的方法及装置

技术领域

本发明涉及网络流量识别技术，特别是一种对等(P2P，Peer-to-Peer)网络流量识别的方法及装置。

背景技术

P2P网络最早由Steve Crocker于1969年提出，是一种分布式网络，网络的参与者共享他们所拥有的一部分硬件资源，如：处理能力、存储能力、网络连接能力、打印机等，这些共享资源需要由网络提供服务和内容，能被其它对等节点直接访问而无需经过中间实体。在此网络中的参与者既是资源即服务和内容的提供者(Server)，也是资源的获取者(Client)。与传统客户端/服务器(C/S)网络不同的是：网络中的每个节点的地位都是对等的，每个节点既充当服务器，为其他节点提供服务，同时也享用其他节点提供的服务。

目前，P2P技术已经广泛的应用于下载、即时通信、网络电话、网络电视、网络游戏、金融服务和信息检索等领域，P2P改变了现有的网络应用模式，也为未来网络的发展提供了一种新的组网思路。然而，在P2P技术的种种优势背后，存在着很多问题：

现在采用P2P技术的应用很多，如：比特流(BitTorrent)、电驴(eDonkey)、电骡(eMule)、简单又方便的网络交换文件软件(Gnutella)、网络电视(PPLive)、流媒体(PPStream)、网络即时语音通讯(Skype)等等，P2P用户的总数以千百万计，如此，造成了网络带宽的巨大消耗，甚至引起网络拥塞，大大降低了网络性能，劣化了网络服务质量，妨碍了正常网络业务的开展和关键业务的普及。同时，伴随着大量未经授权内容的私自传播，也给非法盗版和网络病毒提供了方便，加速了它们的成长，给网络安全和知识产权的保护带来巨大的冲击。

据统计，P2P网络流量已经占据了整个网络流量的60％-70％，极端情况下甚至达到了80％-90％，成为名副其实的“带宽杀手”，导致运营商、企业网、校园网关键链路拥塞和其它常规互联网业务服务质量(QoS，Quality of Service)的急剧下降。人们尤其是电信运营商越来越明显地意识到有必要对P2P网络流量和网络行为进行深入的了解和分析，为监控与管理P2P提供技术支持，为了完成这一目标，首要任务就是对网络上的P2P网络流量进行有效的识别。

现有技术中，对P2P网络流量应用的方案一是采用端口识别法：在P2P应用兴起的早期，大多数应用使用的都是固定端口，例如，Gnutella使用346-6347端口，BitTorrent使用6881-6889端口等。在这种情况下，对其流量的识别方式与识别普通应用分组的方式完全相同：在需要监测的网络中被动收集分组，然后检查分组的运输层首部信息，如果端口号与某些特定的端口号匹配，则说明该分组即为P2P网络流量分组，可以按照预设的动作对其进行处理。这种识别方法最大的优点就是简单易行，它不需要进行复杂的分组处理即可得出结论；端口识别法在P2P应用出现的初期显得十分简单有效，但随着P2P技术的发展，该方法逐渐变得不再适用，端口跳变、随机端口、信息隐藏等技术被P2P应用广泛采用，简单的通过对固定端口号的匹配已经无法识别出这类P2P网络流量的存在。

对P2P网络流量应用方案二是采用基于应用层特征字段的识别方法：由于当前大部分P2P应用使用随机端口或者伪装端口，简单地通过分析分组首部的端口信息已经无法识别出这类应用的存在。但是，每种应用的分组中都携带有特定的报文信息，例如，HTTP协议报文中会出现GET、PUT、POST等报文字样。与之相类似，在各种P2P应用协议中也具有类似的信息。因此，人们提出通过检查分组内部携带的负载信息进行分组识别的方法，即：基于应用层特征字段的识别技术——深度包检测(DPI，Deep Packet Inspection)技术。DPI技术不仅仅检测网络层和传输层数据报头部，而且在应用层检测数据包的净载荷(payload)所封装的内容部分。该技术深入探查数据包或数据流的应用程序流量，根据数据包的净载荷对数据包作出处理决定。由于P2P协议引入动态端口，只能通过扫描高层协议来探知P2P数据报，通过对每个经过网络设备的P2P报文进行深度内容检测，标记出各个数据报文的属性即识别结果，以便进行下一步的流量控制策略。此项技术使用一个净载荷(payload)特征库存储payload特征信息，符合payload特征的数据报即视为P2P数据报。DPI技术识别方法最核心的技术在于字符串匹配算法的选择，高效的字符串匹配算法可以提高程序的响应性能。常用的几种字符串匹配算法有：朴素字符串匹配算法、Krap-Rabin算法、字符串匹配自动机和KMP算法等。DPI技术的缺点是：每次都要把整个IP数据报解开进行协议一层的分析，计算量比较大，速度比较慢。对新P2P应用的检测具有滞后性，即：在未升级特征库前无法检测新的P2P应用，必须找到新应用的payload特征后才能对该应用实施有效检测。对加密P2P应用的检测能力非常有限。算法性能与payload特征的复杂度有关，payload特征越复杂，则检测代价越高，算法性能越差。

对P2P网络流量应用的方案三是基于传输层流量行为特征的识别方法：基于传输层的行为特征的识别方法和基于传输层流统计的识别方法都属于概率分类方法，都是通过宏观分析传输层头部信息，而不进行任何涉及应用层数据的检测；不同之处在于，基于流统计的P2P识别依据的是P2P流的数据包大小，传输字节数，平均速率以及持续时间等流的属性特征，而基于传输层行为特征的P2P网络流量识别则是根据P2P连接的IP地址和端口号的连接特征以及P2P网络直径等特征来进行识别。这种技术的缺点是：流量模式识别需要记录每条流的信息，并且，流量模式的识别结果具有不确定性，是基于概率的结果，因此方法的精度取决于P2P网络流量特征的显著程度和启发式规则对这种特征的覆盖能力，而往往找到P2P网络流量的普遍特征是非常困难的。

发明内容

有鉴于此，本发明的主要目的在于提供一种对等网络流量识别的方法及装置，快速准确的识别出P2P网络流量。

为达到上述目的，本发明的技术方案是这样实现的：

本发明提供了一种对等网络流量识别的方法，该方法包括：

根据设置的长度阈值将数据流分组分成两类，并计算这两类分组的类型比，所述分组类型比大于设置的类型阈值区间的上限时，认为所述数据流为P2P网络流量。

上述方案中，该方法还包括：设置两个计数器smallCount和LargeCount，如果分组长度小于等于所设长度阈值，则计数器smallCount自增1；如果分组长度大于所设长度阈值，则计数器LargeCount自增1；

所述两类分组的类型比具体为：计数器smallCount和LargeCount中计数值的比值。

上述方案中，该方法还包括：当所述分组类型比小于设置的类型阈值区间的下限时，则认为该数据流为非P2P网络流量；当所述分组类型比介于类型阈值区间范围内时，则认为该数据流为疑似P2P网络流量。

上述方案中，所述长度阈值设置为介于[500，1000]Byte区间范围的任意整数值；所述类型阈值区间设置为[0.8，1.2]。

上述方案中，当认为该数据流为疑似P2P网络流量时，该方法还包括：将疑似P2P网络流量通过比较算法识别出采用固定端口进行通信的P2P网络流量，并将未识别出的疑似P2P网络流量进入流量特征检测。

上述方案中，在流量特征检测中，将疑似P2P网络流量通过流量特征检测方法识别出P2P网络流量，并将未识别出的疑似P2P网络流量进入特征字段检测。

上述方案中，在特征字段检测中，将疑似P2P网络流量通过模式匹配算法识别出P2P网络流量，并将未识别出的疑似P2P网络流量进入限流检测。

上述方案中，在限流检测中，当疑似P2P网络流量大于所设流量阈值，则认为该数据流为P2P网络流量，否则，认为该数据流为非P2P网络流量。

上述方案中，所述将数据流分组分成两类之后，该方法还包括：当分组总数大于设置的总数阈值时，计算这两类分组的类型比。

本发明还提供了一种对等网络流量识别的装置，该装置包括：分组类型比识别模块，用于根据设置的长度阈值将数据流分组分成两类，并计算这两类分组的类型比，所述分组类型比大于设置的类型阈值区间的上限时，则认为该数据流为P2P网络流量。

上述方案中，所述分组类型比识别模块包括：计数器smallCount和计数器LargeCount；其中，

计数器smallCount，用于当数据流分组的长度小于等于所设长度阈值时，计数器smallCount自增1；

计数器LargeCount，用于当数据流分组的长度大于所设长度阈值时，计数器LargeCount自增1；

所述两类分组的类型比具体为：计数器smallCount和LargeCount中计数值的比值。

上述方案中，所述分组类型比识别模块，还用于当所述分组类型比小于设置的类型阈值区间的下限时，则认为该数据流为非P2P网络流量；当所述分组类型比介于类型阈值区间范围内时，则认为该数据流为疑似P2P网络流量。

上述方案中，该装置还包括：端口检测模块、流量特征检测模块、特征字段检测模块、限流检测模块；其中，

端口检测模块，用于将疑似P2P网络流量与端口检测模块中的固定端口数据库中的P2P数据流进行对比，通过比较算法识别出采用固定端口进行通信的P2P网络流量，并将未识别出的疑似P2P网络流量进入流量特征检测模块；

流量特征检测模块，用于将疑似P2P网络流量中源目的地址和源端口组成对，如果所组成的对不在流量特征检测模块中静态端口映射表中，则认为该数据流为P2P网络流量，并将未识别出的疑似P2P网络流量进入特征字段检测模块；

特征字段检测模块，用于通过模式匹配算法将疑似P2P网络流量中相应的字符串与静载荷(payload)数据库中P2P软件的字符串相比较，识别出P2P网络流量，并将未识别出的疑似P2P网络流量进入限流检测模块；

限流检测模块，用于在设定时间内，当疑似P2P网络流量大于所设流量阈值，则认为该数据流为P2P网络流量，否则，认为该数据流为非P2P网络流量。

本发明所提供的P2P网络流量识别的方法及装置，测量一定数量的数据流分组长度，根据设置的长度阈值将数据流分组分成两类，并计算这两类分组的类型比，如果所述分组类型比大于设置的类型阈值区间的上限，则认为该数据流为P2P网络流量。如此，本发明通过对分组类型比进行判断，能使数据流迅速而有效的被划分，从而快速有效的识别出P2P网络流量。

由于本发明将比较算法、流量特征检测法和特征字段检测法结合使用识别P2P数据流，且只采用比较算法、流量特征检测法、或特征字段检测法对部分P2P数据流进行识别，因此，能避免单独使用上述方法的缺点，提高识别效率和准确度；另外，本发明通过分组类型比的方式识别出P2P网络流量，在很大程度上降低了流量检测方案带来的系统开销。

附图说明

图1为本发明实施例的P2P网络流量识别的方法流程图；

图2为本发明实施例的P2P网络流量识别的装置结构图。

具体实施方式

本发明技术方案的基本思想是：测量一定数量的数据流分组长度，根据设置的长度阈值将数据流分组分成两类，并计算这两类分组的类型比，如果所述分组类型比大于设置的类型阈值区间的上限，则认为该数据流为P2P网络流量。

在数据传输的过程中，网络设备会接收IP数据流，并且将IP数据流存储在自身的内部缓存中，并对分组数据流进行相应处理。

本发明实施例提供的P2P网络流量识别的方法，如图1所示，包括以下步骤：

步骤101：IP数据流进入网络设备的内部缓存；

本步骤中，根据传输控制协议/因特网互联协议(TCP/IP，TransmissionControl Protocol/Internet Protocol)将IP数据流进行分组，并使IP数据流以分组的形式进入网络设备中先入先出队列(FIFO，First Input First Output)形式的内部缓存。

步骤102：区分内部缓存中的数据流分组的类型，并当分组总数大于设置的总数阈值m时，执行步骤103；否则，返回步骤101；

本步骤中，首先，设置两个计数器smallCount、LargeCount和长度阈值t，并测量每个数据流分组的长度，如果分组长度小于等于所设长度阈值t，则计数器smallCount自增1；如果分组长度大于所设长度阈值t，则计数器LargeCount自增1；这样，将内部缓存中的数据流分组区分成了两种类型：分组长度小于等于长度阈值t的分组数目被记录在计数器smallCount中，而分组长度大于长度阈值t的分组数目被记录在计数器LargeCount中；其中，长度阈值t可以按照数据流分组的实际长度设置，一般情况下，分组长度介于[500，1000]Byte区间范围的分组数目非常少，所以较佳地，将长度阈值t设置为介于[500，1000]Byte区间范围的任意整数值，能够较好的达到区分分组类型的目的；

其次，设置总数阈值m，并计算分组总数，分组总数为两个计数器的计数值之和，当分组总数小于总数阈值m，则再次读入一个分组，并重新计算分组总数，直到分组总数大于总数阈值m，执行步骤103；其中，总数阈值m的设置可以根据网络状况来确定，当分组的总数达到一定数量时，才能够使本发明的方法更具有普遍应用性，一般情况下可以设置为100000个。

步骤103：计算分组类型比，将分组类型比高于设置的类型阈值区间k上限范围的数据流确定为P2P网络流量，并将这部分P2P网络流量进行P2P网络流量管理，结束当前流程；将分组类型比介于类型阈值区间k范围内的数据流确定为疑似P2P网络流量，执行步骤104；将分组类型比低于设置的类型阈值区间k下限范围的数据流确定为非P2P网络流量，并结束当前流程。

本步骤中，分组类型比为计数器smallCount和LargeCount中计数值的比值；所设置的类型阈值区间k可以根据网络状况来确定，本发明根据大量的实验，利用100000个数据流样本得出结论：当分组类型比大于1.2时，数据流为P2P网络流量，而当分组类型比小于0.8时，数据流为非P2P网络流量，因此较佳地，设置类型阈值区间k取[0.8，1.2]；通过本步骤中的P2P网络流量识别方法，识别的准确率可达50％以上，且识别过程迅速。

步骤104：通过比较算法识别出采用固定端口进行通信的P2P网络流量，并将识别出的P2P网络流量进行P2P网络流量管理，将未识别出的疑似P2P网络流量执行流量特征检测；

本步骤中，通过现有技术中的比较算法将疑似P2P数据流与网络设备中的固定端口数据库的P2P数据流进行详细对比，识别出采用固定端口进行通信的P2P网络流量，将这部分P2P网络流量打上标记后进入P2P网络流量管理模块；并将其余未识别出的疑似P2P网络流量执行流量特征检测，执行步骤105。

步骤105：通过流量特征检测方法识别出P2P网络流量，并将识别出的P2P网络流量进行P2P网络流量管理，将未识别出的疑似P2P网络流量执行模式匹配检测；

本步骤中，分析数据流中的协议报头、源目的地址、源端口、宿目的地址以及宿端口，将疑似P2P网络流量中源目的地址和源端口组成对(pair)，只要同时使用TCP协议和用户数据包协议(UDP，User Datagram Protocol)，且源目的地址和源端口对不在网络设备中已有的静态端口映射表中，则确定该数据流为P2P网络流量，将这部分P2P网络流量打上标记后进行P2P网络流量管理，并将未识别出的疑似P2P网络流量执行特征字段检测，执行步骤106；其中，本步骤中的识别过程可通过现有技术实现。

步骤106：通过特征字段检测识别出P2P网络流量，并将识别出的P2P网络流量进行P2P网络流量管理，将未识别出的疑似P2P网络流量执行限流检测；

本步骤中，通过模式匹配算法将疑似P2P网络流量中相应的字符串与payload数据库中P2P软件的字符串相比较，进而识别出P2P网络流量；并将识别出的P2P网络流量打上标记后进入P2P网络流量管理模块，将未识别出的疑似P2P网络流量执行限流检测；其中，所述模式匹配算法可以采用模式识别中的经典算法KMP算法，该算法的具体过程在此不做详细描述。

这里，payload数据库中可以包括目前国内流行的P2P软件，其中，字符串特征序列可以包括：+21、-13、+0、-134、-75、+18、-0、+68、+80、-80、+95、-95、E3、C5、D4。

在大多数情况下，通过本步骤可以基本完成P2P网络流量的识别。

步骤107：如果在设定时间内疑似P2P网络流量大于所设流量阈值，则认为该数据流为P2P网络流量，将所识别的P2P网络流量进行P2P网络流量管理，将未识别出的数据流均可视为非P2P数据流。

本步骤中，这里所设的阈值应根据网络带宽及拥塞情况确定，例如：当流量超过1Mb/s(兆比特/秒)时，认为数据流为P2P数据流。

本发明按照检测的复杂程度或检测的耗时程度对P2P网络流量进行识别，通过上述方法能够迅速识别出P2P网络流量，减少了P2P网络流量的识别时间，使得P2P网络流量及时进行P2P网络流量管理，提高了识别效率和精度。

为实现上述方法，本发明还提供了一种P2P网络流量识别的装置，如图2所示，该装置包括：

分组类型比识别模块，用于测量一定数量的数据流分组长度，根据所设置的长度阈值将数据流分组分成两类，并计算这两类分组的类型比，如果所述分组类型比大于所设置的类型阈值区间的上限，则认为该数据流为P2P网络流量。

其中，所述长度阈值可以按照数据流分组的实际长度设置，较佳地，长度阈值设置为介于[500，1000]Byte区间范围的任意整数值；所述类型阈值区间可以根据网络状况来确定，较佳地，类型阈值区间设置为[0.8，1.2]。

所述分组类型比识别模块，包括计数器smallCount和计数器LargeCount；其中，计数器smallCount，用于当数据流分组的长度小于等于所设长度阈值时，计数器smallCount自增1；

计数器LargeCount，用于当数据流分组的长度大于所设长度阈值时，计数器LargeCount自增1。

所述两类分组的数量比具体为：计数器smallCount和LargeCount中计数值的比值。

所述分组类型比识别模块，还用于当所述分组类型比小于所设置的类型阈值区间的下限，则认为该数据流为非P2P网络流量；当所述分组类型比介于类型阈值区间范围内时，则认为该数据流为疑似P2P网络流量。

该装置还包括：端口检测模块、流量特征检测模块、特征字段检测模块、限流检测模块；其中，

端口检测模块，用于将疑似P2P网络流量与端口检测模块中的固定端口数据库中的P2P数据流进行对比，通过比较算法识别出采用固定端口进行通信的P2P网络流量，并将未识别出的疑似P2P网络流量进入流量特征检测模块；

流量特征检测模块，用于将疑似P2P网络流量中源目的地址和源端口组成对，如果所组成的对不在流量特征检测模块中静态端口映射表中，则认为该数据流为P2P网络流量，并将未识别出的疑似P2P网络流量进入特征字段检测模块；

特征字段检测模块，用于通过模式匹配算法将疑似P2P网络流量中相应的字符串与静载荷(payload)数据库中P2P软件的字符串相比较，识别出P2P网络流量，并将未识别出的疑似P2P网络流量进入限流检测模块；

限流检测模块，用于在设定时间内，当疑似P2P网络流量大于所设流量阈值，则认为该数据流为P2P网络流量，否则，认为该数据流为非P2P网络流量。

以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种对等P2P网络流量识别的方法，其特征在于，该方法包括：

根据设置的长度阈值将数据流分组分成两类，并计算这两类分组的类型比，所述分组类型比大于设置的类型阈值区间的上限时，认为所述数据流为P2P网络流量；所述分组类型比小于设置的类型阈值区间的下限时，认为该数据流为非P2P网络流量；所述分组类型比介于类型阈值区间范围内时，认为该数据流为疑似P2P网络流量；

当认为该数据流为疑似P2P网络流量时，该方法还包括：将疑似P2P网络流量通过比较算法识别出采用固定端口进行通信的P2P网络流量，并将未识别出的疑似P2P网络流量进入流量特征检测；在流量特征检测中，将疑似P2P网络流量通过流量特征检测方法识别出P2P网络流量，并将未识别出的疑似P2P网络流量进入特征字段检测；在特征字段检测中，将疑似P2P网络流量通过模式匹配算法识别出P2P网络流量，并将未识别出的疑似P2P网络流量进入限流检测；在限流检测中，当疑似P2P网络流量大于所设流量阈值，则认为该数据流为P2P网络流量，否则，认为该数据流为非P2P网络流量。

2.根据权利要求1所述的方法，其特征在于，该方法还包括：设置两个计数器smallCount和LargeCount，如果分组长度小于等于所设长度阈值，则计数器smallCount自增1；如果分组长度大于所设长度阈值，则计数器LargeCount自增1；

所述两类分组的类型比具体为：计数器smallCount和LargeCount中计数值的比值。

3.根据权利要求1所述的方法，其特征在于，所述长度阈值设置为介于[500，1000]Byte区间范围的任意整数值；所述类型阈值区间设置为[0.8，1.2]。

4.根据权利要求1至3任一项所述的方法，其特征在于，所述将数据流分组分成两类之后，该方法还包括：当分组总数大于设置的总数阈值时，计算这两类分组的类型比。

5.一种对等网络流量识别的装置，其特征在于，该装置包括：分组类型比识别模块，用于根据设置的长度阈值将数据流分组分成两类，并计算这两类分组的类型比，所述分组类型比大于设置的类型阈值区间的上限时，则认为该数据流为P2P网络流量；所述分组类型比小于设置的类型阈值区间的下限时，认为该数据流为非P2P网络流量；所述分组类型比介于类型阈值区间范围内时，认为该数据流为疑似P2P网络流量；

该装置还包括：端口检测模块、流量特征检测模块、特征字段检测模块、限流检测模块；其中，

端口检测模块，用于将疑似P2P网络流量与端口检测模块中的固定端口数据库中的P2P数据流进行对比，通过比较算法识别出采用固定端口进行通信的P2P网络流量，并将未识别出的疑似P2P网络流量进入流量特征检测模块；

流量特征检测模块，用于将疑似P2P网络流量中源目的地址和源端口组成对，如果所组成的对不在流量特征检测模块中静态端口映射表中，则认为该数据流为P2P网络流量，并将未识别出的疑似P2P网络流量进入特征字段检测模块；

特征字段检测模块，用于通过模式匹配算法将疑似P2P网络流量中相应的字符串与静载荷(payload)数据库中P2P软件的字符串相比较，识别出P2P网络流量，并将未识别出的疑似P2P网络流量进入限流检测模块；

限流检测模块，用于在设定时间内，当疑似P2P网络流量大于所设流量阈值，则认为该数据流为P2P网络流量，否则，认为该数据流为非P2P网络流量。

6.根据权利要求5所述的装置，其特征在于，所述分组类型比识别模块包括：计数器smallCount和计数器LargeCount；其中，

计数器smallCount，用于当数据流分组的长度小于等于所设长度阈值时，计数器smallCount自增1；

计数器LargeCount，用于当数据流分组的长度大于所设长度阈值时，计数器LargeCount自增1；

所述两类分组的类型比具体为：计数器smallCount和LargeCount中计数值的比值。