[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN112335203B - 处理局域网诊断数据 - Google Patents

处理局域网诊断数据 Download PDF

Info

Publication number
CN112335203B
CN112335203B CN201980042172.6A CN201980042172A CN112335203B CN 112335203 B CN112335203 B CN 112335203B CN 201980042172 A CN201980042172 A CN 201980042172A CN 112335203 B CN112335203 B CN 112335203B
Authority
CN
China
Prior art keywords
data unit
data
local area
area network
field
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980042172.6A
Other languages
English (en)
Other versions
CN112335203A (zh
Inventor
F·斯卡希尔
S·林兰德
T·特维尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
British Telecommunications PLC
Original Assignee
British Telecommunications PLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by British Telecommunications PLC filed Critical British Telecommunications PLC
Publication of CN112335203A publication Critical patent/CN112335203A/zh
Application granted granted Critical
Publication of CN112335203B publication Critical patent/CN112335203B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0805—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters by checking availability
    • H04L43/0817—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters by checking availability by checking functioning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/02—Capturing of monitoring data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/04—Processing captured monitoring data, e.g. for logfile generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/06—Generation of reports
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/10—Active monitoring, e.g. heartbeat, ping or trace-route
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/565—Conversion or adaptation of application format or content
    • H04L67/5651—Reducing the amount or size of exchanged application data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/04—Protocols for data compression, e.g. ROHC
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2854—Wide area networks, e.g. public data networks
    • H04L12/2856—Access arrangements, e.g. Internet access
    • H04L12/2869—Operational details of access network equipments
    • H04L12/2898—Subscriber equipments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/02—Capturing of monitoring data
    • H04L43/028—Capturing of monitoring data by filtering

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Cardiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Environmental & Geological Engineering (AREA)
  • Computer Security & Cryptography (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

一种用于处理关于局域网(LAN，10)获得的局域网诊断数据的方法和装置。该方法包括：根据存储在数据单元中的一个或更多个字段值的预定函数计算多个数据单元中的各个数据单元的值；根据第一数据单元和第二数据单元的相应值的比较，将第一数据单元和第二数据单元识别成相似，第二数据单元具有与第一数据单元的对应字段值不同的至少一个字段值；响应于这种识别，创建第三数据单元，第三数据单元包括指示第一数据单元的字段值以及指示与第一数据单元的对应字段值不同的至少一个字段值；以及发送第一数据单元和第三数据单元，以在LAN(10)之外的远程网络诊断设备(16)处进行性能分析。

Description

处理局域网诊断数据
技术领域
本发明涉及处理关于局域网获得的局域网诊断数据的方法和系统。具体地，本发明的优选实施方式涉及用于将这种诊断数据从局域网上载到(例如)互联网服务提供商以用于随后的分析、网络诊断和其它这样的处理的技术和装置。
背景技术
在依赖于捕获和分析通过网络传输的各个数据包的网络诊断系统中，所需的存储、带宽和处理量取决于所捕获的数据包的数量和数据包的平均大小二者。因此，减少所捕获和处理的数据包的数量以及数据包的大小是有利的。
在数据包捕获或数据传输系统中，通常使用诸如GZIP压缩(稍后讨论)之类的压缩算法来减小数据包捕获的大小。可以根据要求的可接受的延迟和所需期望压缩率在逐个数据包的基础上或跨多个数据包的块来应用压缩。基于GZIP的数据包压缩具有是无损压缩方案的优点并且确保在解压缩时可以完美地重新创建所有数据包，然而这限制了可能的最大压缩量。
在基于IEEE 802.11的WiFi系统中，某些数据包被定期发送，而与所讨论的接入点是否有活跃用户无关。例如，对于正在运行的各个不同的接入点BSSID(即，基本服务集标识符：Basic Service Set IDentifier)，每100毫秒发送一次WiFi“信标”数据包。对于WiFi路由器(诸如BT“家庭集线器”)，其当前版本支持六个并行运行的独立接入点，信标传输在数据包捕获内每天可以占6x10x3600x24＝5,184,000个数据包。传输的各个信标数据包基本上与所有其它信标相同，除了一小组字段包括：业务指示图、QBSS(即，QOS增强的基本服务集：QOS-enhanced Basic Service Set)负载、序列号和时间戳元素(这些元素在连续的信标之间可能不同也可能相同)。根据执行的诊断的类型，这些字段可能不相关，然而它们的存在会在数据包之间造成差异，从而限制了压缩算法的性能。
虽然数据包捕获的大小会影响上载捕获数据所要求的存储量和带宽，但是(至少主要是)数据包捕获内的数据包数量确定分析数据包捕获需要多少CPU处理能力，因此去除小数据包仍然是有利的，即使这对经压缩的数据包捕获文件的大小没有显著影响。
注意将理解的是，根据OSI模型，所讨论的数据单元将通常被视为与它们在第2层的传输有关的帧，并且被视为与它们在第3层的传输有关的数据包，但是由于所讨论的帧是封装在数据包内以便将所讨论的数据作为数据包捕获的一部分上载，所以无论所讨论的数据单元被视为帧还是数据包，上述问题均适用，尤其是因为数据包捕获中的数据包的数量和大小将在很大程度上取决于它们承载的帧的数量和大小。
现在参考一些现有技术，GZIP(前面提到)是用于文件压缩和解压缩的文件格式和软件应用。简而言之，GZIP压缩使用Liv-Zempel(LZ)压缩来用单个实例替换数据中的相同字节序列，因此能够非常有效地压缩数据。LZ算法通过引用在未压缩数据流中先前存在的该数据的单个副本替换重复出现的数据来实现压缩。匹配由称为“长度-距离对”的一对数字进行编码，这等效于以下语句：“接下来的[长度]个字符中的每个字符等于在未压缩流中在其后面恰好[距离]个字符的字符”。可以被替换的字节序列越长，压缩效率就可以越高。
然而，ZIP压缩是一种无损压缩技术，并且没有考虑字节序列之间的微不足道的差异(例如，数据包内容内具有相似但不相同的值的字段或者该值可变但不重要的字段不会被压缩)。同样，虽然ZIP压缩通常可以减少数据包捕获的大小，但由于各个数据包通常至少具有唯一的数据包号和/或时间戳，因此ZIP压缩通常不会减少解压缩后的数据包数量，因此GZIP压缩不一定会减少后端分析系统的处理要求。
有关GZIP的更多信息在标题为“GNU Gzip”的网页：https：//www.gnu.org/software/gzip/manual/gzip.html和其它地方可以在线访问。
“Wireshark”提供了一种数据捕获技术，其可以“理解”各种联网协议的结构(即，封装)。Wireshark可以解析和显示字段以及不同联网协议指定的其含义。Wireshark使用“pcap”(数据包捕获)应用编程接口(API：application programming interface)捕获数据包，因此只能在“pcap”支持的网络类型上捕获数据包。
在Wireshark内，“Editcap”功能能够去除数据包捕获中的重复数据包(“数据包重复数据删除”)。为了识别相同的数据包，Wireshark基于数据包内容生成哈希值，并存储由绝对时间或由数据包数量定义的可配置历史窗口的历史哈希值。如果当前数据包哈希值与该窗口内的任何先前数据包的哈希值相同，则丢弃当前数据包。数据包哈希函数可以被配置成忽略来自数据包开始的固定字节数量，但是此数量对于所有数据包类型均相同，并且仅作为前缀。通常，这是为了允许在计算数据包哈希值时忽略时间戳和/或帧号。然而，从所有数据包中忽略相同的固定字节数。此外，在Wireshark中去除了重复的数据包，并且该数据包未保留任何记录，这意味着以后即使需要也无法将其恢复。
Pankaj Gupta和Nick McKeown的题为“Algorithms for PacketClassification”(IEEE Network:Magazine of Global Internetworking,Vol 15,Issue2,March 2001,pages 24-32)的论文可以在http://yuba.stanford.edu/～nickm/papers/classification_tutorial_01.pdf在线访问，该论文描述了数据包分类技术，该数据包分类技术用于将数据包分组成语义相似的类，以允许将特定于类的处理(诸如流量整形或标识)应用于数据包。数据包分类器可以根据数据包类型使用数据包字段的不同子集来将数据包匹配到各种类别，即，数据包分类器可以定义相似性度量，通过该相似性度量可以将数据包与其它数据包进行比较。
Jill R.Goldschneider的题为“Lossy Compression of Scientific Data viaWavelets and Vector Quantization”(2000年2月)论文可以在https://digital.lib.washington.edu/researchworks/handle/1773/5881在线访问，该论文讨论了用于数据传输的有损压缩。在基于矢量量化(VQ：Vector Quantisation)的数据压缩中，利用最近的码本条目的索引替换数据包有效负载。VQ算法使用距离/相似性度量来对有效负载内容进行比较，以便找到最近的码本条目。通常，将单个距离度量应用于所有有效负载内容。在VQ系统中，码本通常是预定义的，并且不是从内容动态生成的，并且系统依赖于有效负载，该有效负载通常是单个类型的固定维数数据(例如，语音数据、图像数据或传感器数据)。
现在参考先前的专利文件，美国专利US8874741(“Hassan等人”)涉及家庭路由器和远程服务提供商，该远程服务提供商被配置成建立网络隧道并利用网络隧道来远程管理家庭路由器。家庭路由器和远程服务提供商还可以利用网络隧道来远程管理在本地连接或联接至家庭路由器的至少一个其它设备。
美国专利US6041351(“Kho”)涉及一种通过减小指令大小来减轻网络拥塞的技术。发送给客户端的服务器指令存储在最近使用(MRU)的高速缓存中，使得检测、避免这种指令的后续重传尝试，而是从高速缓存在本地执行。根据图形或文本类型，对存储性能进行优化调整以实现部分避免效果，并且可以随着指令特性的变化而动态适应。MRU先进先出(FIFO：First-In/First-Out)高速缓存为处理器提供了针对最近执行的指令的网络传输过程中的新指令的本地检查，从而避免了重复传输已在本地访问的指令。还可以类似地评估、存储和监测多于一个指令集或数据包，但是可以选择性地执行指令子集。各个处理器同步地维护相同的高速缓存信息。
国际申请WO2016123383(“Quantum Metric LLC”)涉及一种用于网络流量的紧凑数据存储及其有效搜索的技术。可以将网络流量与先前网络流量中的通信进行比较，以识别差异(如果有)。可以为网络流量中所识别出的不同(例如，新的)资源生成资源模板。存储网络流量中所识别出的不同资源使得能够压缩网络流量。可以实现相似性匹配以改进用于网络流量的紧凑存储的处理性能，包括确定用于存储的网络流量的差异。
发明内容
如前所述，在数据包捕获或数据传输系统中，通常使用诸如GZIP压缩之类的压缩算法来减少数据包捕获的大小，基于GZIP的数据包压缩是一种无损压缩方案，其确保在解压缩时可以完美地重新创建所有数据包。然而，在网络诊断系统中(与通信系统相反)，具有无损版本的原始数据包捕获并不一定重要，因为诊断和分析可能仅取决于与数据包字段的与诊断分析相关的子集。因此，本发明人已经发现了以下机会：通过使用有损压缩技术来利用该冗余信息来减少在用于诊断目的的数据包捕获中的数据包的大小和/或数量，以改进可能的压缩水平。
本发明的方面和实施方式涉及用于从局域网(LAN)向(例如)互联网服务提供商(ISP)上载局域网诊断数据(通常称为网络数据包捕获或“PCAP”)以进行分析、网络诊断和其它这种处理的技术和装置。这种诊断数据的上载通常是经由LAN网关设备(诸如，LAN路由器/调制解调器设备或“家庭集线器”)或从LAN网关设备完成的，LAN网关设备在拓扑上位于LAN的边界处，并且用作进入/退出数据进入/退出LAN的入口点/出口点。
尤其是，本发明的优选实施方式涉及如何减小网络数据包捕获或将通过ISP或代表ISP起作用的一方(可能使用云服务器)被上载以进行分析的其它这样的诊断数据的大小的问题。这种数据包捕获可能很大，具有较高的带宽和存储要求，因此在上载它们之前使用压缩是有利的。
尽管要上载的数据通常包括显著比例的标准类型的类似数据包，但其中大部分数据通常与后续诊断分析无关，但是标准PCAP分析技术通常要求上载的数据采用标准格式，并“期望”这些数据包存在并完整(本质上，分析技术的正确功能依赖于数据包的存在和完整)。
根据本发明的第一方面，提供了一种处理关于局域网获得的局域网诊断数据的方法，所述局域网具有至少一个位于其中的用户设备，所述用户设备能够工作以经由局域网网关设备与所述局域网之外的通信网络中的一个或更多个远程设备进行通信，所述局域网诊断数据包括多个数据单元，所述多个数据单元承载与所述局域网的性能特性有关的数据，所述数据单元包括存储有字段值的字段，所述方法包括：
计算多个所述数据单元中的每个数据单元的数据单元值，数据单元的所述数据单元值是根据存储在所述数据单元的一个或更多个字段中的一个或更多个字段值的预定函数来计算的；
根据预定标准，依据第一数据单元和第二数据单元的相应数据单元值的比较，从所述多个数据单元中将所述第一数据单元和所述第二数据单元识别成相似，所述第二数据单元具有存储在至少一个字段中的至少一个字段值，所述至少一个字段值与存储在所述第一数据单元的至少一个对应字段中的对应字段值不同；
响应于这种识别，创建第三数据单元，所述第三数据单元包括：包含指示所述第一数据单元的字段值的至少一个字段；以及包含指示与存储在所述第一数据单元的对应字段中的对应字段值不同的至少一个字段值的至少一个字段；以及
从所述局域网发送所述第一数据单元和所述第三数据单元，以在所述局域网之外的所述通信网络中的远程网络诊断设备处进行局域网性能分析。
根据优选实施方式，局域网诊断数据包括多个数据单元，所述多个数据单元承载与关于局域网网关设备与位于局域网中的至少一个用户设备之间的通信的性能特性有关的数据。
根据优选实施方式，关于所述局域网获得的所述局域网诊断数据可以包括符合预定版本的网络协议的多个数据包，该网络协议可以是预定无线联网协议。
根据优选实施方式，关于所述局域网获得的所述局域网诊断数据可以包括多个信标数据包，所述信标数据包在预定间隔之后被反复发送。
根据优选实施方式，所述方法可以包括：从关于所述局域网获得的所述局域网诊断数据中识别数据单元的多个集合，各个集合包括第一数据单元和第二数据单元，所述第一数据单元和所述第二数据单元根据所述第一数据单元和所述第二数据单元的相应数据单元值的比较而被识别成相似，一集合的所述第二数据单元具有存储在至少一个字段中的至少一个字段值，所述至少一个字段值与存储在所述集合的所述第一数据单元的至少一个对应字段中的对应字段值不同；响应于各个这种识别，创建第三数据单元，所述第三数据单元包括包含指示所述集合的所述第一数据单元的字段值的至少一个字段，以及包含指示与存储在所述集合的所述第一数据单元的对应字段中的对应字段值不同的至少一个字段值的至少一个字段；以及从所述局域网发送更新后的局域网诊断数据，以在所述局域网之外的所述通信网络中的远程网络诊断设备处进行局域网性能分析，所述更新后的局域网诊断数据包括各个集合的所述第一数据单元和关于各个集合创建的所述第三数据单元。借助于此，可以相对于包括数据单元的多个集合的“数据包捕获”来执行该方法。
根据优选实施方式，计算数据单元的数据单元值的步骤可以包括：根据存储在所述数据单元中的一个或更多个所述字段中的一个或更多个字段值的预定函数来计算所述数据单元值，而对存储在所述数据单元中的一个或更多个其它字段中的一个或更多个字段值不予考虑。
根据优选实施方式，计算数据单元的数据单元值的步骤可以包括：根据存储在所述数据单元中的一个或更多个所述字段中的一个或更多个字段值的预定函数来计算所述数据单元值，其中已利用预定值替换了所述一个或更多个字段值。
根据优选实施方式，计算数据单元的数据单元值的步骤可以包括：根据存储在所述数据单元中的一个或更多个所述字段中的一个或更多个字段值的预定哈希函数计算所述数据单元值。
根据优选实施方式，所述方法还可以包括检查多个所述数据单元中的相应数据单元，从而从多个可能的数据单元类型或子类型中确定所述相应数据单元的数据单元类型或子类型，计算多个数据单元中特定数据单元类型或子类型的各个数据单元的数据单元值的步骤包括：根据预定函数来计算所述数据单元值，所述预定函数是根据所述数据单元类型或子类型选择的。在数据单元是数据包的情况下，这种功能因此允许将不同的函数用于不同的数据包类型或子类型。在函数是散列函数的情况下，这允许将不同的哈希函数用于不同的数据包类型或子类型。
根据优选实施方式，所述方法还可以包括检查多个所述数据单元中的相应数据单元，从而从多个可能的数据单元类型或子类型中确定所述相应数据单元的数据单元类型或子类型，从所述多个数据单元中将第一数据单元和第二数据单元识别成相似的步骤包括：根据所述第一数据单元和所述第二数据单元的相应数据单元值的比较，将所述第一数据单元和所述第二数据单元识别成相似，所述比较使用根据所述数据单元类型或子类型选择的比较算法。在数据单元是数据包的情况下，这种功能因此允许将不同的比较算法用于不同的数据包类型或子类型。
根据优选实施方式，所述方法还可以包括：在所述远程网络诊断设备处接收所述第一数据单元和所述第三数据单元；检查所述第三数据单元；以及响应于在第三数据单元中识别出指示所述第一数据单元的所述字段值，根据包含指示与存储在所述第一数据单元的所述对应字段中的所述对应字段值不同的至少一个字段值的至少一个字段，生成与所述第二数据单元相对应的数据单元。根据优选实施方式，所述方法还可以包括：根据所接收到的第一数据单元以及所生成的与所关联的第二数据单元相对应的数据单元，在所述远程网络诊断设备处执行局域网性能分析。
根据本发明的第二方面，提供了一种用于处理关于局域网获得的局域网诊断数据的装置，所述局域网具有至少一个位于其中的用户设备，所述用户设备能够工作以经由局域网网关设备与所述局域网之外的通信网络中的一个或更多个远程设备进行通信，所述局域网诊断数据包括多个数据单元，所述多个数据单元承载与所述局域网的性能特性有关的数据，所述装置包括一个或更多个处理器，所述一个或更多个处理器被配置成：
计算多个所述数据单元中的每个数据单元的数据单元值，数据单元的所述数据单元值是根据存储在所述数据单元的一个或更多个字段中的一个或更多个字段值的预定函数来计算的；
根据预定标准，依据第一数据单元和第二数据单元的相应数据单元值的比较，从所述多个数据单元中将所述第一数据单元和所述第二数据单元识别成相似，所述第二数据单元具有存储在至少一个字段中的至少一个字段值，所述至少一个字段值与存储在所述第一数据单元的至少一个对应字段中的对应字段值不同；
响应于这种识别，创建第三数据单元，所述第三数据单元包括：包含指示所述第一数据单元的字段值的至少一个字段；以及包含指示与存储在所述第一数据单元的所述对应字段中的所述对应字段值不同的至少一个字段值的至少一个字段；以及
从所述局域网发送所述第一数据单元和所述第三数据单元，以在所述局域网之外的所述通信网络中的远程网络诊断设备处进行局域网性能分析。
这种装置可以包括在所述局域网网关设备中或与所述局域网网关设备相关联的一个或更多个模块。
根据本发明的第三方面，提供了一种计算机程序元件，所述计算机程序元件包括计算机程序代码，以当所述计算机程序代码被加载到计算机系统中并在所述计算机系统上被执行时，使所述计算机执行根据第一方面所述的方法的步骤。
上面关于第一方面提及的多种选择和优选实施方式关于第二方面和第三方面也适用。
本发明的优选实施方式满足了减小在终端(endpoint)处收集并上载到云服务器以进行分析和网络诊断的网络数据包捕获的大小的需求。这种数据包捕获可能很大，并且需要大量的带宽和存储要求。尽管可以使用标准压缩算法和实用程序(诸如Linux GZIP)来压缩这种数据包捕获，但是压缩后这些文件每天仍为100MB。
本发明的优选实施方式提供了一种“有损”压缩方案，该方案通过以下步骤而能够在上载之前以高压缩率对数据包捕获进行压缩：识别这种“相似的”标准数据包；用“定制”数据包替换一对相似数据包中的第二数据包，“定制”仅包含对该对中第一数据包的参考和第二数据包与第一数据包所不同的任何必要数据；然后上载第一数据包和“定制”数据包(丢弃第二数据包)。这使得能够在从LAN上载后重新生成“被替换”的数据包，从而实现使用“期望”完整、标准PCAP文件格式的标准技术来处理PCAP数据。
本发明的优选实施方式满足了减少捕获、存储和处理用于网络诊断的网络数据包捕获所需的存储空间、传输带宽和计算资源的需求。本发明的优选实施方式使用有损数据包压缩方案，该方案利用要捕获的数据包的网络协议的知识以及要执行的网络诊断分析的类型的知识，来在上载之前减少数据包捕获的大小，同时保留生成与包括这些数据包相同的诊断结果的能力，并且重要的是使得能够重新生成具有与存在的所有原始数据包相对应的数据包的数据包捕获，尽管其中这些数据包中的一些数据包包含可能与原始数据包不同的字段值(尽管是在仅无关紧要的特征、字段或方式上)。
这是有利的，因为这些数据包捕获可以由其它用户和/或软件系统使用，这些用户和/或软件系统可能依赖于以正确的顺序包含(或至少似乎包含)所有原始数据包类型的数据包捕获文件，这意味着对于任何压缩方案而言能够尽可能接近地重新创建原始数据包捕获是有利的，因此与标准重复数据删除不同，记录原始数据包的存在，以便如果随后需要，则重新创建原始数据包(或至少与原始数据包对应的数据包)。
本发明的优选实施方式包括多个机制，所述多个机制利用诸如802.11WiFi之类的特定网络协议的操作的知识，结合例如WiFi诊断系统所需的信息类型的知识，以实现比利用标准压缩技术通常可能的程度的高程度的数据包捕获压缩。
在一些基于数据包的诊断系统中，ISP必须在远程终端(诸如路由器/调制解调器或“家庭集线器”类型的设备)上收集数据包捕获。这些终端的存储空间有限，并且可以经由各种质量级别(从ADSL到FTTP连接)的(并且可能可变的)链路进行连接。减少终端上的存储和带宽要求可以减少部署基于数据包的诊断系统的成本。同样，在大量终端连接至基于云的诊断平台的情况下，就所需的网络链路和数据中心设备的成本和容量而言，减少上载数据包捕获的带宽要求可以带来实质性的成本益处。
附图说明
现在将参照附图描述本发明的优选实施方式，其中：
图1示出了局域网以及该局域网中的设备可以与其通信的实体和其它网络；
图2示出了信标帧内的字段分解的示例；
图3例示了利用定制数据包来替换信标帧；
图4是例示根据优选实施方式的利用定制数据包替换信标帧的处理的流程图；以及
图5是适合用于本发明实施方式或其组件的操作的计算机系统的图。
具体实施方式
参照附图，将描述根据优选实施方式的方法和装置。
首先参照图1，其示出了局域网(LAN：Local Area Network)10，其中有诸如计算机、智能电话、支持互联网的电视等的一个或更多个用户设备102a、102b(通常为102)以及LAN网关设备104，该LAN网关设备104可以包括LAN路由器/调制解调器设备或“家庭集线器”和/或其它网络终端设备(NTE：Network Termination Equipment)。用户设备102可以经由有线或无线连接与LAN网关设备104通信，但是在本示例中，LAN网关设备104还能够用作无线LAN的无线集线器。LAN网关设备104在拓扑上位于LAN 10的边界处，并且当LAN内的用户设备102与LAN外部的网络中的设备进行通信时，LAN网关设备104用作用于数据进入/退出LAN的入口点/出口点。
在本示例中，LAN网关设备104经由连接106与宽带网络基础设施12通信。连接106可以例如是通过公共交换电话网络(PSTN：public switched telephone network)线路或其它方式的动态用户线路(DSL：Dynamic Subscriber Line)连接，在这种情况下，宽带网络基础设施12可以包括具有相关联的元素管理器的数字用户线路接入多路复用器(DSLAM：Digital Subscriber Line Access Multiplexer)，该元素管理器允许通过动态线路管理(DLM：Dynamic Line Management)技术监测和调整DSL连接的性能。另选地，连接106可以是光纤连接或其它。
在本示例中，不管宽带连接的类型如何，宽带网络基础设施12通常与互联网服务提供商(ISP：Internet Service Provider)网络14通信，经由该ISP网络14，LAN 10中的用户设备102(以及ISP网络14中的其它设备)可以经由一个或更多个其它外部网络18(例如，互联网)与服务器和其它网络(例如，其它ISP网络等)中的其它设备19进行通信。在另选示例中，所讨论的网络可以是可能跨多个站点的公司网络，在这种情况下，各个站点经由网络基础设施彼此通信和/或与外部网络18和其它设备19(包括将在下面讨论LAN性能分析单元16)通信，该网络基础设施可以例如是公司的广域网(WAN：Wide Area Network)或类似物，而不是图1所示的宽带网络基础设施12和ISP网络14。
图1还示出了LAN性能分析单元16。LAN性能分析单元16被示出为与ISP网络14通信，但实际上LAN性能分析单元16可能在ISP网络14内，或位于其它位置。LAN性能分析单元16可以在ISP的控制下，但是也可以另选地是与ISP通信或以其它方式与LAN 10中的LAN网关设备104通信的单独实体。LAN性能分析单元16的主要作用是接收通常呈数据包捕获形式的关于一个或更多个LAN(诸如，LAN 10)获得的诊断数据，并执行性能和/或其它诊断分析和/或有关LAN诊断数据的其它处理。
如前所述，数据包捕获的大小会影响将数据包捕获上载到ISP或要接收和处理其中的诊断数据的任何实体所要求的存储量和带宽，因此如果可以在将数据包捕获从LAN网关设备104(或LAN 10中的其它设备)发送到ISP或其它这种处理实体之前减小数据包捕获的大小(例如，以字节为单位)，则是有利的，前提是，这可以以保存数据包捕获中包含的“相关”信息(即，与任何后续诊断分析相关的信息)的方式进行，理想情况下，以允许使用标准性能分析技术执行必要处理的形式保存该信息。
数据包捕获的大小也会影响上载数据包捕获所要求的存储量和带宽，数据包捕获内的数据包数量也很重要，因为这是确定分析和以其它方式处理数据包捕获需要多少CPU处理能力的重要因素，因此去除小数据包(即，就字节数而言)实际上是有利的，即使这对经压缩的数据包捕获文件的大小没有显著影响。
参照图2(并且现在忽略关于“哈希计算中未使用的字段”的注释)，其示出了示例性“信标”帧内的字段分解的示例。如前所述，各个信标基本上与所有其它信标相同，除了包括以下项的字段的小集合：业务指示图、QBSS(即，QOS增强的基本服务集)负载、序列号和时间戳元素(这些元素在连续的信标之间可能不同也可能相同)。这些字段可能与网络性能诊断的目的无关，但是它们的存在会在帧(或要传输的数据包)之间造成差异，这通常会限制压缩算法的性能。
从示例PCAP大小的回顾中知道，“信标”可以占数据包捕获(特别是使用变量“快照长度(Snap Lengths)”来确保捕获完整的信标帧的数据包捕获)中很大比例的数据。
(注意，“快照长度”或快相长度(“SnapLen”)是网络捕获工具实际捕获并存储到捕获文件中的各个帧的数据量。)
在一典型示例中，发现包含完整信标数据包的24小时压缩PCAP的大小为337MB，而发现没有信标的24小时压缩PCAP的大小为231MB。
信标通常占总数据大小的大约30％，但是它们大多是相同的帧或重复的数据包。因此，改进信标帧的压缩提供了节省大量数据的潜力。
本发明的优选实施方式利用诸如802.11WiFi之类的特定网络协议的操作的知识，结合例如WiFi诊断系统所需的信息类型的知识，以实现比利用标准压缩技术通常可能的程度的高程度的数据包捕获压缩。
对于包括至少一些在时间上和通过介入数据包(例如信标)(通常)分离的相似(但不一定相同)数据包的数据，根据优选实施方式的方法可以用于通过利用相似数据包的一般相似性来实现对数据的改进压缩。
有损数据包压缩
根据优选实施方式，在(改进的、减小大小的)包含“第一”数据包的数据包捕获以及一个或更多个减小大小的“定制”数据包被压缩并从局域网(LAN)(即，通常从诸如LAN路由器/调制解调器设备或“家庭集线器”的LAN网关设备，该LAN网关设备在拓扑上通常位于LAN的边界并用作数据进入/退出LAN的入口点/出口点)上载到互联网服务提供商(ISP)或其它实体以进行分析、网络诊断和其它这样的处理之前，利用新创建的减小大小的“定制”数据包替换数据包捕获中的与“第一”数据包相同或接近相同的一个或更多个数据包(例如，承载信标帧的那些数据包)。各个“定制数据包”包含第一数据单元(“定制数据包”替换的数据包与该第一数据单元相似)的标识的指示以及一个或更多个字段值的指示，依据所述一个或更多个字段值的指示，“定制数据包”替换的数据包与第一数据包的对应的字段值不同。
该技术利用了以下能力：基于仍然存在于被压缩并从LAN上载的(改进、减小的)数据包捕获中的未更改的“第一”数据包的内容来推断替换数据包的内容。
通常，并且尤其是再次参照图1，根据优选实施方式的方法涉及处理关于诸如LAN10的局域网获得的诊断数据，该LAN具有至少一个诸如用户设备102a的用户设备，该用户设备能够经由LAN网关设备104(诸如路由器/调制解调器设备或“家庭集线器”)与LAN外部的其它设备19进行通信。通常在将诊断数据上载到远程定位的性能分析单元16以(通常通过ISP或代表ISP)进行后续分析之前执行的处理可以由LAN网关设备104或由相关联的设备执行。要处理的诊断数据可以采用标准数据包捕获的形式，并且包括与LAN的性能特征有关的数据，该数据包括一种类型(或子类型)的数据单元，这些数据单元中的至少某些被期望符合格式，诸如是几乎相同的。由LAN网关设备104执行或以其它方式执行的处理方法包括针对多个所述数据单元中的各个数据单元(或者针对多个所述数据单元中特定类型或子类型的各个数据单元)计算数据单元值，数据单元的数据单位值根据存储在数据单元中一个或更多个字段中的一个或更多个字段值的预定函数来计算，然后根据它们相应数据单元值的比较从多个数据单元识别出被认为相似(或“几乎相同”)的第一数据单元和第二数据单元，使得第二数据单元可以被认为与第一数据单元“相似”(或“几乎相同”)，同时第二数据单元具有存储在至少一个字段中的至少一个字段值，该字段值与存储在第一数据单元的至少一个对应字段中的对应字段值不同。
如前所述，用于识别这样的第一数据单元和第二数据单元的目的的可能的“相似”或“几乎相同”的数据单元的示例包括信标帧。
本发明的实施方式可以适用于其它类型的相似或几乎相同的数据单元(即，除了信标之外的数据单元)。其它示例将包括广播探测请求和探测响应。探测请求是客户站发送的特殊帧，该特殊帧从服务集标识符(SSID：Service Set IDentifier)指定的特定接入点或从该区域中由广播SSID指定的所有接入点请求信息。所请求的信息通常包括支持的数据速率(也被包括在通常从接入点广播的信标帧中)。通常，当接入点听到探测请求帧(被定向到特定接入点或使用广播SSID广播到该区域中的所有站)时，接入点发出探测响应。与信标帧相似，探测响应包含两个站开始通信所要求的许多相同信息。与信标一样，这种广播探测请求和探测响应可能彼此不同的字段被标准化，这意味着在从局域网(LAN)上载数据包捕获之前，数据包捕获中的几乎相同的探测请求和/或探测响应可以被识别并被利用减小大小的“定制”数据包替换。
在识别出这种第一数据单元和第二数据单元之后，该处理方法然后包括创建第三数据单元，该第三数据单元包括包含指示第一数据单元的字段值的至少一个字段，以及包含指示与存储在第一数据单元的对应字段中的对应字段值不同的至少一个字段值的至少一个字段(注意，尽管“第一数据单元”可能是两者中的较早接收的，但单词“第一”和“第二”不必暗示时间关系-它们只是允许分别引用各个数据单元的术语)。然后，该处理方法包括从LAN 10发送第一数据单元和第三数据单元，以在LAN外部的远程网络诊断设备16处进行性能分析。在压缩并上载数据包捕获之前，第二数据单元基本上被(减小大小的)第三数据单元替换。
在这种方法中，可以使用数据包相似性度量的集合来将当前数据包与同一WLAN类型/子类型的一个或更多个先前观察到的数据包进行比较。
相似性测试可以将针对当前数据包内容计算出的哈希值(例如，使用诸如“MD5”算法的哈希函数创建的)与针对相同类型/子类型的先前数据包(例如管理/信标)计算出的哈希值列表进行比较。与其它重复数据删除方法不同，可以在帧内容的变量子集上计算哈希值，其中，子集取决于数据包类型/子类型(即，IEEE 802.11信标帧的哈希函数可能与IEEE802.11探测响应等的哈希函数不同)。因此，这种哈希函数可以体现被认为对于诊断目的重要的数据包信息的知识。
再次参照图2，其示出了示例性信标帧内的字段分解的示例，并且包括指示在该示例中不用于计算信标的哈希值的某些字段的注释。
(注意，这里将在后面参照图4中的步骤s415进行更详细地讨论的一种另选方法是，将数据包类型/子类型特定的未使用字段中的值重写为固定值，然后使用独立于数据包类型/子类型的单个哈希函数计算哈希值。数据包类型特定知识体现在字段重写函数中，而不是哈希函数中。)
信标帧包含多个字段，这些字段在信标数据包之间有所不同，但当前或通常不用于网络诊断，例如，固定参数信息元素中的时间戳字段21(它是原始发射器设置的时间戳，因此从一个信标数据包到下一信标数据包有所不同)、序列号22和诸如帧号23的帧信息或者诸如信号强度的信息。排除字段的集合可以取决于WiFi帧类型/子类型字段。
针对各个数据包类型/子类型保持单独的数据包哈希历史记录，即，信标数据包哈希值通常仅与先前信标的哈希值进行比较，以便防止哈希值范围之间的意外重叠。这还允许将不同的哈希列表长度用于不同的数据包类型，从而实现用于被期望在较长时间保持一致的数据包(诸如，信标)的更大的数据包去除率。
类型的示例哈希历史＝管理子类型＝信标
条目 数据包时间戳 MD5哈希值
1 150439760.012342 5a5af9e0739a10ed89da5d823fd9a5ef
2 150439760.125672 7fdfaf9e275da10ed89da5d823fd98672
如果在当前数据包哈希值与哈希历史记录中的条目之间找到匹配项，则创建定制数据包，该定制数据包包含当前数据包时间戳和哈希历史记录中存储的匹配哈希的时间戳。
定制数据包格式：
封装类型 定制 8位
新纪元时间(Epoch Time)： 150439821.230024 64位
先前数据包时间戳： 150439760.012342 64位
因此，定制数据包可以用例如17字节的定制帧来替换例如通常大于300字节的信标帧，该定制帧包含对在数据包捕获中先前发现的先前类似数据包的参考(例如，时间戳)。
参照图3，其例示了根据以上阐述的技术利用定制数据包来替换信标帧。在此，示出了输入PCAP文件，其中，三种类型(A、B和C)的信标帧依次到达。类型A和B的信标大小相似(312字节)，但在其它方面可能彼此不相同，而类型C的信标大小稍小(264字节)。(例如，与来自无线路由器设备的专用和公用SSID信标有关的情况就可能这样，其中，专用SSID信标可能比公用SSID信标稍大。)对后续类型A的信标的识别允许在输出PCAP文件中用定制数据包替换这些后续类型A的信标，该定制数据包包括对第一个类型A的信标的参考(以及这些后续类型A的信标与第一个类型A的信标之间的任何其它差异的指示)。同样，在输出PCAP文件中用定制数据包替换后续类型B或C的信标，该定制数据包包括对第一个相应类型(即，B或C)的信标的参考(以及这些后续类型B或C的信标与第一个该类型的信标之间的任何其它差异的指示)。
各个定制数据包(无论其替换的数据包类型如何)都比其替换的帧小得多(17字节)。
如果在将数据包捕获上载到诊断系统之后，需要重新生成被替换的数据包，则可以基于定制数据包中的定制数据包替换的信标所类似的“第一信标”的身份的以及定制数据包替换的信标与“第一信标”的对应字段值的一个或更多个字段值不同的指示来完成。
有利的是，哈希/重写函数是可配置的，从而使得如果被认为对诊断目的很重要的字段改变，则能够改变哈希函数和/或重写策略。
图4是例示根据优选实施方式的利用定制数据包替换信标帧的处理的流程图，使得可以在从局域网上载数据包捕获之后重新生成信标帧。例如，这样的处理可以由LAN网关设备104执行或代表LAN网关设备104执行。将理解的是，可以关于信标帧(和体现它们的数据包)和/或其它类型的帧和/或数据包来执行该处理，但是这些其它项未在流程图中示出，以便避免不必要的复杂性。
从步骤s400开始，读取关于LAN获得的局域网诊断数据的数据包捕获的第一数据包(称为“数据包N”)。在步骤s410处，为数据包N的类型(如果合适，子类型)的数据包选择哈希函数和历史记录。
(注意，还示出了步骤s415，步骤s415是先前讨论的步骤s410的另选步骤，其中，未使用字段被重写成固定值。在这种另选方法中，数据包类型和/或子类型特定的未使用字段中的值被重写，以使这些字段承载固定的预定值(以使它们本身将不会影响基于要计算的哈希值的“相似性”评估的结果)，然后使用单个哈希函数计算哈希值，该哈希函数可能与所讨论的数据包类型和/或子类型无关。数据包类型特定知识基本体现在字段重写函数中，而不是哈希函数中。)
在步骤s420处，使用适用的哈希函数(即，如果使用经由步骤s410的选项进行的方法，则基于数据包的数据包类型和/或子类型进行选择；或者如果使用经由步骤s415的选项进行的方法，则使用可以与数据包类型和/或子类型无关的哈希函数)来计算数据包N的哈希值。
在步骤s430处，获得针对为先前数据包(数据包N的数据包类型和/或子类型，如果适用的话)计算的哈希值表中的第一条目。
在步骤s440处，确定针对数据包N计算出的哈希值是否等于历史哈希值表中的第一哈希值。如果是，则得出结论，数据包N与该数据包足够相似以能够被定制数据包替换，并且该处理继续到步骤s450，稍后进行讨论。如果不是，则该处理进行到步骤s460，在步骤s460处，检查表中当前正在考虑的条目是否为最后条目。如果不是最后条目，则该处理继续到步骤s465，在步骤s465处，从历史表中获得下一条目，并且确定针对数据包N计算出的哈希值是否等于该下一条目。如果在步骤s460发现当前正在考虑的条目是表中的最后条目，则可以得出结论，数据包N与已经在历史表中已经反映的任何数据包的相似性不足而不能被定制数据包替换，并且该处理继续到步骤s470，在步骤s470处，将针对数据包N计算出的哈希值本身连同其时间戳一起添加到历史表。然后，该处理进行到步骤s480，在步骤s480处，数据包N被写入并且可以被作为数据包捕获的一部分上载。
然后，该处理可以返回到步骤s400，并相对于关于LAN获得的局域网诊断数据的数据包捕获的下一数据包执行对应的步骤，现在将该下一数据包称为“数据包N”。
如前所述，现在返回步骤s440的“是”选项，如果确定针对数据包N计算出的哈希值等于历史哈希值表中的哈希值，则使得可以得出结论数据包N与关于历史表中存在条目的先前数据包足够相似，该处理继续到步骤s450。在步骤s450处，使用匹配的历史表条目创建新的“定制”数据包，该定制数据包包括所讨论的先前数据包的时间戳(作为该数据包的指示)和数据包N的时间戳(以便使得在用定制数据包替换数据包N时此信息能够保持)。然后，该处理进行到步骤s455，在步骤s455处，写入要替换数据包N的新的定制数据包，然后可以将该定制数据包作为数据包捕获的一部分上载。
然后，该处理可以返回到步骤s400，并如先前所说明的相对于关于LAN获得的局域网诊断数据的数据包捕获的下一数据包执行对应的步骤，再次将该下一数据包称为“数据包N”。
图5是适合用于本发明实施方式或其组件的操作的计算机系统50的图。中央处理器单元(CPU)52经由数据总线58通信地连接到数据存储部54和输入/输出(I/O)接口56。数据存储部54可以是任何读/写存储设备或装置的组合，诸如，随机存取存储器(RAM)或非易失性存储设备，并且可以用于存储可执行和/或非可执行数据。非易失性存储设备的示例包括磁盘或磁带存储设备。I/O接口56是到用于输入或输出数据的设备的接口。能够连接到I/O接口56的I/O设备的示例包括键盘、鼠标、显示器(诸如，监测器)和网络连接。
就所描述的本发明的实施方式而言，至少部分地可以使用软件控制的可编程处理设备(诸如，微处理器、数字信号处理器或其它处理设备、数据处理装置或系统)来实现，可以理解的是，用于配置可编程设备的计算机程序、实现前述方法的装置或系统被设想成本发明的方面。例如，计算机程序可以被实施成源代码或经过编译以在处理设备、装置或系统上实现，或者可以被实施成目标代码。
适当地，计算机程序以机器或设备可读形式存储在载体介质上，例如存储在固态存储器、诸如磁盘或磁带的磁存储器、诸如光盘或数字通用磁盘的光或磁光可读存储器等，并且处理设备利用该程序或其一部分以配置其用于操作。可以从实施在诸如电子信号、射频载波或光载波的通信介质中的远程源供应计算机程序。这种载体介质也被设想成本发明的方面。
本领域技术人员将理解，尽管已经相对于上述示例实施方式描述了本发明，但是本发明不限于此，并且存在落入本发明的范围内的许多可能的变化和修改。
本发明的范围可以包括本文公开的其它新颖特征或特征的组合。申请人在此通知，在本申请或由此得出的任何此类进一步申请的起诉期间，可以对这些特征或特征的组合提出新的权利要求。尤其是，参照所附权利要求，可以将从属权利要求中的特征与独立权利要求中的特征组合，并且可以以任何适当的方式而不是仅以权利要求中列举的特定组合来组合来自各独立权利要求中的特征。

Claims (15)

1.一种处理关于局域网获得的局域网诊断数据的方法，所述局域网具有位于其中的至少一个用户设备，所述用户设备能够工作以经由局域网网关设备与所述局域网之外的通信网络中的一个或更多个远程设备进行通信，所述局域网诊断数据包括多个数据单元，所述多个数据单元承载与所述局域网的性能特性有关的数据，所述数据单元包括存储有字段值的字段，所述方法包括以下步骤：
计算多个所述数据单元中的每个数据单元的数据单元值，数据单元的所述数据单元值是根据存储在所述数据单元的一个或更多个字段中的一个或更多个字段值的预定函数计算出的；
根据预定标准，依据第一数据单元和第二数据单元的相应数据单元值的比较，从所述多个数据单元中将所述第一数据单元和所述第二数据单元识别成相似，所述第二数据单元具有存储在至少一个字段中的至少一个字段值，所述至少一个字段值与存储在所述第一数据单元的至少一个对应字段中的对应字段值不同；
响应于这种识别，创建第三数据单元，所述第三数据单元包括：包含指示所述第一数据单元的字段值的至少一个字段；以及包含指示与存储在所述第一数据单元的所述对应字段中的所述对应字段值不同的至少一个字段值的至少一个字段；以及
从所述局域网发送所述第一数据单元和所述第三数据单元，以在所述局域网之外的所述通信网络中的远程网络诊断设备处进行局域网性能分析。
2.根据权利要求1所述的方法，其中，关于所述局域网获得的所述局域网诊断数据包括符合预定版本的网络协议的多个数据包。
3.根据权利要求1或2所述的方法，其中，关于所述局域网获得的所述局域网诊断数据包括符合预定无线联网协议的多个数据包。
4.根据权利要求1所述的方法，其中，关于所述局域网获得的所述局域网诊断数据包括多个信标数据包，所述信标数据包在预定间隔之后被反复发送。
5.根据权利要求1所述的方法，其中，所述方法包括：从关于所述局域网获得的所述局域网诊断数据中识别出数据单元的多个集合，各个集合包括第一数据单元和第二数据单元，所述第一数据单元和所述第二数据单元依据所述第一数据单元和所述第二数据单元的相应数据单元值的比较而被识别成相似，一集合的所述第二数据单元具有存储在至少一个字段中的至少一个字段值，所述至少一个字段值与存储在所述集合的所述第一数据单元的至少一个对应字段中的对应字段值不同；响应于各个这种识别，创建第三数据单元，所述第三数据单元包括包含指示所述集合的所述第一数据单元的字段值的至少一个字段，以及包含指示与存储在所述集合的所述第一数据单元的所述对应字段中的所述对应字段值不同的至少一个字段值的至少一个字段；以及从所述局域网发送更新后的局域网诊断数据，以在所述局域网之外的所述通信网络中的远程网络诊断设备处进行局域网性能分析，所述更新后的局域网诊断数据包括各个集合的所述第一数据单元和关于各个集合创建的所述第三数据单元。
6.根据权利要求1所述的方法，其中，计算数据单元的数据单元值的步骤包括：根据存储在所述数据单元中的一个或更多个字段中的一个或更多个字段值的预定函数计算所述数据单元值，而对存储在所述数据单元中的一个或更多个其它字段中的一个或更多个字段值不予考虑。
7.根据权利要求1所述的方法，其中，计算数据单元的数据单元值的步骤包括：根据存储在所述数据单元中的一个或更多个字段中的一个或更多个字段值的预定函数计算所述数据单元值，其中已利用预定值替换了所述一个或更多个字段值。
8.根据权利要求1所述的方法，其中，计算数据单元的数据单元值的步骤包括：根据存储在所述数据单元中的一个或更多个字段中的一个或更多个字段值的预定哈希函数计算所述数据单元值。
9.根据权利要求1所述的方法，其中，所述方法还包括：检查多个所述数据单元中的相应数据单元，从而从多个数据单元类型或子类型中确定所述相应数据单元的数据单元类型或子类型，计算多个数据单元中特定数据单元类型或子类型的各个数据单元的数据单元值的步骤包括：根据预定函数计算所述数据单元值，所述预定函数是依据所述数据单元类型或子类型选择的。
10.根据权利要求1所述的方法，其中，所述方法还包括：检查多个所述数据单元中的相应数据单元，从而从多个数据单元类型或子类型中确定所述相应数据单元的数据单元类型或子类型，从所述多个数据单元中将第一数据单元和第二数据单元识别成相似的步骤包括：依据所述第一数据单元和所述第二数据单元的相应数据单元值的比较，将所述第一数据单元和所述第二数据单元识别成相似，所述比较使用依据所述数据单元类型或子类型选择的比较算法。
11.根据权利要求1所述的方法，其中，所述方法还包括：在所述远程网络诊断设备处接收所述第一数据单元和所述第三数据单元；检查所述第三数据单元；以及响应于在所述第三数据单元中识别出指示所述第一数据单元的所述字段值，依据包含指示与存储在所述第一数据单元的所述对应字段中的所述对应字段值不同的至少一个字段值的至少一个字段，生成与所述第二数据单元相对应的数据单元。
12.根据权利要求11所述的方法，其中，所述方法还包括：依据所接收到的第一数据单元以及与所关联的第二数据单元相对应的所生成的数据单元，在所述远程网络诊断设备处执行局域网性能分析。
13.一种用于处理关于局域网获得的局域网诊断数据的装置，所述局域网具有位于其中的至少一个用户设备，所述用户设备能够工作以经由局域网网关设备与所述局域网之外的通信网络中的一个或更多个远程设备进行通信，所述局域网诊断数据包括多个数据单元，所述多个数据单元承载与所述局域网的性能特性有关的数据，所述数据单元包括存储有字段值的字段，所述装置包括一个或更多个处理器，所述一个或更多个处理器被配置成：
计算多个所述数据单元中的每个数据单元的数据单元值，数据单元的所述数据单元值是根据存储在所述数据单元的一个或更多个字段中的一个或更多个字段值的预定函数计算出的；
根据预定标准，依据第一数据单元和第二数据单元的相应数据单元值的比较，从所述多个数据单元中将所述第一数据单元和所述第二数据单元识别成相似，所述第二数据单元具有存储在至少一个字段中的至少一个字段值，所述至少一个字段值与存储在所述第一数据单元的至少一个对应字段中的对应字段值不同；
响应于这种识别，创建第三数据单元，所述第三数据单元包括：包含指示所述第一数据单元的字段值的至少一个字段；以及包含指示与存储在所述第一数据单元的所述对应字段中的所述对应字段值不同的至少一个字段值的至少一个字段；并且
从所述局域网发送所述第一数据单元和所述第三数据单元，以在所述局域网之外的所述通信网络中的远程网络诊断设备处进行局域网性能分析。
14.根据权利要求13所述的装置，所述装置包括在所述局域网网关设备中或与所述局域网网关设备相关联的一个或更多个模块。
15.一种计算机程序元件，所述计算机程序元件包括计算机程序代码，以当所述计算机程序代码被加载到计算机系统中并在所述计算机系统上被执行时，使所述计算机系统执行根据权利要求1至12中任一项所述的方法的步骤。
CN201980042172.6A 2018-06-25 2019-06-21 处理局域网诊断数据 Active CN112335203B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP18179579 2018-06-25
EP18179579.0 2018-06-25
PCT/EP2019/066513 WO2020002159A1 (en) 2018-06-25 2019-06-21 Processing local area network diagnostic data

Publications (2)

Publication Number Publication Date
CN112335203A CN112335203A (zh) 2021-02-05
CN112335203B true CN112335203B (zh) 2023-12-05

Family

ID=62837586

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980042172.6A Active CN112335203B (zh) 2018-06-25 2019-06-21 处理局域网诊断数据

Country Status (4)

Country Link
US (1) US11991061B2 (zh)
EP (1) EP3811572B1 (zh)
CN (1) CN112335203B (zh)
WO (1) WO2020002159A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3811571B1 (en) 2018-06-25 2022-07-06 British Telecommunications public limited company Processing diagnostic data in a local area network
CN112335203B (zh) 2018-06-25 2023-12-05 英国电讯有限公司 处理局域网诊断数据
EP4038840B1 (en) 2019-09-30 2024-10-09 British Telecommunications public limited company Processing local area network diagnostic data

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6041351A (en) * 1997-04-17 2000-03-21 Newmoon.Com Network traffic by instruction packet size reduction
CN106576057A (zh) * 2014-06-27 2017-04-19 谷歌公司 端对端网络诊断
CN107409071A (zh) * 2015-03-20 2017-11-28 英国电讯有限公司 诊断测试

Family Cites Families (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8903950B2 (en) * 2000-05-05 2014-12-02 Citrix Systems, Inc. Personalized content delivery using peer-to-peer precaching
JP4520032B2 (ja) 2000-08-17 2010-08-04 パナソニック株式会社 ヘッダ圧縮装置およびヘッダ圧縮方法
SE0004736D0 (sv) 2000-12-20 2000-12-20 Ericsson Telefon Ab L M Mapping system and method
US6691167B2 (en) * 2002-01-28 2004-02-10 Acterna Llc Method and apparatus for network problem segment isolation
US7460476B1 (en) 2004-10-18 2008-12-02 Ubicom, Inc. Automatic adaptive network traffic prioritization and shaping
US7817555B2 (en) 2006-02-14 2010-10-19 Jds Uniphase Corporation Compacting of frames in a network diagnostic device
US8576731B2 (en) 2006-02-14 2013-11-05 Jds Uniphase Corporation Random data compression scheme in a network diagnostic component
US10075182B2 (en) 2006-10-13 2018-09-11 Qualcomm Incorporated Message compression
EP2068525B1 (en) * 2007-11-06 2014-04-09 Airtight Networks, Inc. Method and system for providing wireless vulnerability management for local area computer networks
US7793001B2 (en) 2008-05-09 2010-09-07 Microsoft Corporation Packet compression for network packet traffic analysis
JP5778672B2 (ja) 2009-07-08 2015-09-16 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ バックワードルッキングロバストヘッダ圧縮レシーバ
US20110122774A1 (en) * 2009-11-25 2011-05-26 T-Mobile Usa, Inc. Time or Condition-Based Reestablishment of a Secure Connection
US8582454B2 (en) 2010-04-08 2013-11-12 Netscout Systems, Inc. Real-time adaptive processing of network data packets for analysis
US8509072B2 (en) * 2011-03-07 2013-08-13 Comcast Cable Communications, Llc Network congestion analysis
US9294589B2 (en) 2011-06-22 2016-03-22 Telefonaktiebolaget L M Ericsson (Publ) Header compression with a code book
US9019837B2 (en) 2013-02-19 2015-04-28 Cisco Technology, Inc. Packet modification to facilitate use of network tags
EP2784984A1 (en) 2013-03-28 2014-10-01 British Telecommunications public limited company Monitoring network performance
US20140337277A1 (en) 2013-05-09 2014-11-13 Rockwell Automation Technologies, Inc. Industrial device and system attestation in a cloud platform
EP2809033B1 (en) 2013-05-30 2018-03-21 Solarflare Communications Inc Packet capture in a network
GB2533529A (en) * 2013-09-18 2016-06-22 Jolata Inc Highly probable identification of related messages using sparse hash function sets
ES2721919T3 (es) 2013-12-17 2019-08-06 Assia Spe Llc Sistemas, métodos y aparatos para implementar compartición de datos inalámbricos distribuidos y sistemas de control
US9906969B2 (en) 2014-04-04 2018-02-27 Cellco Partnership Remote diagnostics for mobile devices
GB2527607B (en) 2014-06-27 2016-10-05 Gurulogic Microsystems Oy Encoder, decoder and method
US9705775B2 (en) * 2014-11-20 2017-07-11 Telefonaktiebolaget Lm Ericsson (Publ) Passive performance measurement for inline service chaining
WO2016115406A1 (en) 2015-01-14 2016-07-21 Hughes Network Systems, Llc Determining link conditions of a client lan/wan from measurement point to client devices and application servers of interest
US9998434B2 (en) * 2015-01-26 2018-06-12 Listat Ltd. Secure dynamic communication network and protocol
WO2016123383A2 (en) 2015-01-29 2016-08-04 Quantum Metric, LLC Techniques for compact data storage of network traffic and efficient search thereof
US9699205B2 (en) * 2015-08-31 2017-07-04 Splunk Inc. Network security system
US10652112B2 (en) 2015-10-02 2020-05-12 Keysight Technologies Singapore (Sales) Pte. Ltd. Network traffic pre-classification within VM platforms in virtual processing environments
US10135711B2 (en) 2015-12-22 2018-11-20 Intel Corporation Technologies for sideband performance tracing of network traffic
US9942122B2 (en) 2016-02-29 2018-04-10 Airmagnet, Inc. Fast packet retrieval based on flow ID and metadata
US10939312B2 (en) 2016-05-20 2021-03-02 7Signal Solutions, Inc. System and method for distributed network performance management
US10142860B2 (en) 2016-06-14 2018-11-27 Hughes Network Systems, Llc Automated network diagnostic techniques
US10757228B1 (en) 2017-02-28 2020-08-25 Stryker Corporation Patient care devices with on-board network communication
US20180337859A1 (en) * 2017-05-16 2018-11-22 Avago Technologies General Ip (Singapore) Pte. Ltd. Systems and methods for local processing of network frames in a reflector
US11290362B2 (en) 2017-09-13 2022-03-29 British Telecommunications Public Limited Company Obtaining local area network diagnostic test results
JP6928256B2 (ja) 2017-11-02 2021-09-01 富士通株式会社 パケット解析プログラム、パケット解析装置、及び、パケット解析方法
US10726645B2 (en) 2018-02-16 2020-07-28 Ford Global Technologies, Llc Vehicle diagnostic operation
CN112335203B (zh) 2018-06-25 2023-12-05 英国电讯有限公司 处理局域网诊断数据
GB2575246A (en) 2018-06-25 2020-01-08 British Telecomm Processing local area network diagnostic data
EP3811571B1 (en) 2018-06-25 2022-07-06 British Telecommunications public limited company Processing diagnostic data in a local area network
US11606258B2 (en) 2019-04-23 2023-03-14 Red Hat, Inc. Determining network topology based on packet traffic

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6041351A (en) * 1997-04-17 2000-03-21 Newmoon.Com Network traffic by instruction packet size reduction
CN106576057A (zh) * 2014-06-27 2017-04-19 谷歌公司 端对端网络诊断
CN107409071A (zh) * 2015-03-20 2017-11-28 英国电讯有限公司 诊断测试

Also Published As

Publication number Publication date
US20210160161A1 (en) 2021-05-27
US11991061B2 (en) 2024-05-21
WO2020002159A1 (en) 2020-01-02
EP3811572A1 (en) 2021-04-28
CN112335203A (zh) 2021-02-05
EP3811572B1 (en) 2023-03-29

Similar Documents

Publication Publication Date Title
US7843823B2 (en) Techniques for balancing throughput and compression in a network communication system
KR100820630B1 (ko) 데이터 패킷 처리 방법
US9065767B2 (en) System and method for reducing netflow traffic in a network environment
US9585059B2 (en) Configured header compression coverage
CN112335202B (zh) 处理局域网诊断数据
US8560552B2 (en) Method for lossless data reduction of redundant patterns
CN112335203B (zh) 处理局域网诊断数据
EP2880818A1 (en) Manipulation of streams of monitoring data
CN103945455A (zh) 一种实现自适应心跳数据包发送的方法及装置
CN111291770A (zh) 一种参数配置方法及装置
GB2575246A (en) Processing local area network diagnostic data
CN109039811B (zh) 用于网络性能监控的网络数据包包头压缩方法及装置
CN113783825A (zh) 一种报文流量统计方法和装置
GB2587427A (en) Processing local area network diagnostic data
US11979477B2 (en) Processing local area network diagnostic data
CN112565337B (zh) 请求传输方法、服务端、客户端、系统及电子设备
CN114979094A (zh) 一种基于rtp的数据传输方法、装置、设备和介质
WO2012159485A1 (zh) 数据上报、数据分析方法及装置
JP2018207345A (ja) 計算装置及び計算方法
GB2575245A (en) Processing local area network diagnostic data
CN114189565B (zh) 一种头域还原系统、方法及相关设备
CN114363301B (zh) 基于localStorage的多媒体数据离线加载方法
Petroni et al. Exploiting edge computing for adaptive data update in Internet of Things networks
CN118827691A (zh) 数据传输方法、装置、设备和存储介质
CN116781545A (zh) 流量处理方法、系统、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant