[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN102868548A - 应用性能受影响的用户分布检测方法及系统 - Google Patents

应用性能受影响的用户分布检测方法及系统 Download PDF

Info

Publication number
CN102868548A
CN102868548A CN2012102881758A CN201210288175A CN102868548A CN 102868548 A CN102868548 A CN 102868548A CN 2012102881758 A CN2012102881758 A CN 2012102881758A CN 201210288175 A CN201210288175 A CN 201210288175A CN 102868548 A CN102868548 A CN 102868548A
Authority
CN
China
Prior art keywords
application performance
user
domain names
distribution detection
tree
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2012102881758A
Other languages
English (en)
Other versions
CN102868548B (zh
Inventor
高华
姚春秋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SUZHOU MAIKE NETWORK SAFETY TECHNOLOGY Co Ltd
Original Assignee
SUZHOU MAIKE NETWORK SAFETY TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SUZHOU MAIKE NETWORK SAFETY TECHNOLOGY Co Ltd filed Critical SUZHOU MAIKE NETWORK SAFETY TECHNOLOGY Co Ltd
Priority to CN201210288175.8A priority Critical patent/CN102868548B/zh
Publication of CN102868548A publication Critical patent/CN102868548A/zh
Application granted granted Critical
Publication of CN102868548B publication Critical patent/CN102868548B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Small-Scale Networks (AREA)

Abstract

本发明提供了一种应用性能受影响的用户分布检测方法及系统，其中，所述方法包括：S1、将用户根据IP划分区域，形成区域树；S2、设置访问时间阈值，记录超过所述阈值的超时时间；S3、获取并处理设备日志数据；S4、将处理后的日志数据根据用户和域名聚类汇总，获取不同用户访问不同域名的平均访问时间；S5、遍历区域树，对每个节点上不同域名的访问时间进行汇总，求不同域名平均访问时间，和所有域名的平均访问时间；S6、遍历区域树，通过计算检测受影响用户分布。本发明可以准确的定位应用性能受影响用户的分布情况，及时的发现网络性能不健康或潜在不健康的用户区域，防止网络瘫痪。

Description

应用性能受影响的用户分布检测方法及系统
【技术领域】
本发明涉及一种应用性能受影响的用户分布检测方法及系统，尤其是涉及一种基于数据挖掘技术的应用性能受影响的用户分布检测方法及系统。
【背景技术】
在一个大型局域网中，经常会出现局部网速比较慢甚至瘫痪的情况，影响正常的工作和学习。然而，因当前没有这样一种技术，可对网络日志进行挖掘分析，获取应用性能受影响用户的分布状况，故，无法优化受影响用户的网络，造成受影响用户的网络瘫痪。
【发明内容】
为了解决上述问题，本发明的目的是提供一种应用性能受影响的用户分布检测方法。该方法基于数据挖掘技术，通过对用户访问日志数据的挖掘和分析，获取网络性能较差用户的分布区域，以便及时优化网络性能差分布区域用户的网络。
本发明的另一目的是提供一种应用性能受影响的用户分布检测系统。
其中，本发明一实施方式的应用性能受影响的用户分布检测方法包括以下步骤：
S1、将用户根据IP划分区域，形成区域树；
S2、设置访问时间阈值，记录超过所述阈值的超时时间；
S3、获取并处理设备日志数据；
S4、将处理后的日志数据根据用户和域名聚类汇总，获取不同用户访问不同域名的平均访问时间；
S5、遍历区域树，对每个节点上不同域名的访问时间进行汇总，求不同域名平均访问时间，和所有域名的平均访问时间；
S6、遍历区域树，通过计算检测受影响用户分布。
作为本发明的进一步改进，所述区域树的的叶子节点为IP，根节点为整个局域网顶层设备。
作为本发明的进一步改进，所述S3步骤具体包括：
获取并处理设备日志数据，清理和裁剪数据，只保留用户信息、访问URL，以及URL响应时间。
作为本发明的进一步改进，所述S4步骤包括：
将聚类汇总后的汇总值存储在区域树对应的叶子节点。
作为本发明的进一步改进，所述S6步骤包括：
根据计算结果标记所有区域树上的节点网络健康情况。
相应地，本发明一实施方式的应用性能受影响的用户分布检测系统包括：
划分单元，用于将用户根据IP划分区域，形成区域树；
设置单元，用于设置访问时间阈值，记录超过所述阈值的超时时间；
日志单元，用于获取并处理设备日志数据；
聚类单元，用于将处理后的日志数据根据用户和域名聚类汇总，获取不同用户访问不同域名的平均访问时间；
统计单元，用于遍历区域树，对每个节点上不同域名的访问时间进行汇总，求不同域名平均访问时间，和所有域名的平均访问时间；
计算单元，用于遍历区域树，通过计算检测受影响用户分布。
作为本发明的进一步改进，所述区域树的的叶子节点为IP，根节点为整个局域网顶层设备。
作为本发明的进一步改进，所述日志单元具体用于：
获取并处理设备日志数据，清理和裁剪数据，只保留用户信息、访问URL，以及URL响应时间。
作为本发明的进一步改进，所述聚类单元还用于：
将聚类汇总后的汇总值存储在区域树对应的叶子节点。
作为本发明的进一步改进，所述计算单元还用于：
根据计算结果标记所有区域树上的节点网络健康情况。
相比于现有技术，本发明通过对海量日志的分析，可以准确的定位应用性能受影响用户的分布情况，及时的发现网络性能不健康或潜在不健康的用户区域，防止网络瘫痪。
【附图说明】
图1是本发明一实施例的应用性能受影响的用户分布检测方法的流程图；
图2是本发明一实施例的应用性能受影响的用户分布检测系统的模块图。
【具体实施方式】
为了使本发明的目的、技术方案和优点更加清楚，下面结合附图和具体实施例对本发明进行详细描述。
如图1所示，在本发明一实施方式中，应用性能受影响的用户分布检测方法，包括以下步骤：
S1、将用户根据IP划分区域，形成区域树；优选地，区域标记为Z1，Z11，Z12，Z2，Z22…，树的叶子节点为IP，根节点为整个局域网顶层设备，区域树命名为ZoneTree；
S2、设置访问时间阈值RTT(Request time threshold),如果访问时间超过阈值，认为是网络性能较差的用户，记录访问超时时间RTO（Request time out）；
S3、获取并处理设备日志数据，清理和裁剪数据，只保留用户信息、访问URL，以及URL响应时间，提高下一步统计的效率，以及内存的利用率；
S4、将处理后的日志数据根据用户和域名聚类汇总，获取不同用户访问不同域名的平均访问时间，优选地，通过汇总条件的哈希算法进行数据归类，并求平均访问时间，将汇总值存储在区域树对应的叶子节点；
S5、二次统计，自底向上遍历区域树，对每个节点上不同域名的访问时间进行汇总，求不同域名平均访问时间，和所有域名的平均访问时间；
S6、自顶向下遍历区域树，通过计算检测受影响用户分布，计算公式为，影响用户区域：AVG>RTT&&MAX<RTO；健康度：(1-AVG/RTT)*100%；标记所有区域树上的节点网络健康情况，如果父区域不健康且该区域的所有子区域都不健康，则标记父区域不健康，否父区域健康，标记为不健康的字区域不健康，依次递归查找。
如图2所示，在本发明一实施方式中，应用性能受影响的用户分布检测系统，包括：
划分单元，用于将用户根据IP划分区域，形成区域树；优选地，区域标记为Z1，Z11，Z12，Z2，Z22…，树的叶子节点为IP，根节点为整个局域网顶层设备，区域树命名为ZoneTree；
设置单元，用于设置访问时间阈值RTT(Request time threshold),如果访问时间超过阈值，认为是网络性能较差的用户，记录访问超时时间RTO（Request time out）；
日志单元，用于获取并处理设备日志数据，清理和裁剪数据，只保留用户信息、访问URL，以及URL响应时间，提高下一步统计的效率，以及内存的利用率；
聚类单元，用于将处理后的日志数据根据用户和域名聚类汇总，获取不同用户访问不同域名的平均访问时间，优选地，通过汇总条件的哈希算法进行数据归类，并求平均访问时间，将汇总值存储在区域树对应的叶子节点；
统计单元，用于二次统计，自底向上遍历区域树，对每个节点上不同域名的访问时间进行汇总，求不同域名平均访问时间，和所有域名的平均访问时间；
计算单元，用于自顶向下遍历区域树，通过计算检测受影响用户分布，计算公式为，影响用户区域：AVG>RTT&&MAX<RTO；健康度：(1-AVG/RTT)*100%；标记所有区域树上的节点网络健康情况，如果父区域不健康且该区域的所有子区域都不健康，则标记父区域不健康，否父区域健康，标记为不健康的字区域不健康，依次递归查找。
综上所述，本发明通过对海量日志的分析，可以准确的定位应用性能受影响用户的分布情况，及时的发现网络性能不健康或潜在不健康的用户区域，防止网络瘫痪。
应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施方式中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。
上文所列出的一系列的详细说明仅仅是针对本发明的可行性实施方式的具体说明，它们并非用以限制本发明的保护范围，凡未脱离本发明技艺精神所作的等效实施方式或变更均应包含在本发明的保护范围之内。

Claims (10)

1.一种应用性能受影响的用户分布检测方法，其特征在于，所述方法包括：
S1、将用户根据IP划分区域，形成区域树；
S2、设置访问时间阈值，记录超过所述阈值的超时时间；
S3、获取并处理设备日志数据；
S4、将处理后的日志数据根据用户和域名聚类汇总，获取不同用户访问不同域名的平均访问时间；
S5、遍历区域树，对每个节点上不同域名的访问时间进行汇总，求不同域名平均访问时间，和所有域名的平均访问时间；
S6、遍历区域树，通过计算检测受影响用户分布。
2.根据权利要求1所述的应用性能受影响的用户分布检测方法，其特征在于，所述区域树的的叶子节点为IP，根节点为整个局域网顶层设备。
3.根据权利要求1所述的应用性能受影响的用户分布检测方法，其特征在于，所述S3步骤具体包括：
获取并处理设备日志数据，清理和裁剪数据，只保留用户信息、访问URL，以及URL响应时间。
4.根据权利要求1所述的应用性能受影响的用户分布检测方法，其特征在于，所述S4步骤包括：
将聚类汇总后的汇总值存储在区域树对应的叶子节点。
5.根据权利要求1所述的应用性能受影响的用户分布检测方法，其特征在于，所述S6步骤包括：
根据计算结果标记所有区域树上的节点网络健康情况。
6.一种应用性能受影响的用户分布检测系统，其特征在于，所述系统包括：
划分单元，用于将用户根据IP划分区域，形成区域树；
设置单元，用于设置访问时间阈值，记录超过所述阈值的超时时间；
日志单元，用于获取并处理设备日志数据；
聚类单元，用于将处理后的日志数据根据用户和域名聚类汇总，获取不同用户访问不同域名的平均访问时间；
统计单元，用于遍历区域树，对每个节点上不同域名的访问时间进行汇总，求不同域名平均访问时间，和所有域名的平均访问时间；
计算单元，用于遍历区域树，通过计算检测受影响用户分布。
7.根据权利要求6所述的应用性能受影响的用户分布检测系统，其特征在于，所述区域树的的叶子节点为IP，根节点为整个局域网顶层设备。
8.根据权利要求6所述的应用性能受影响的用户分布检测系统，其特征在于，所述日志单元具体用于：
获取并处理设备日志数据，清理和裁剪数据，只保留用户信息、访问URL，以及URL响应时间。
9.根据权利要求6所述的应用性能受影响的用户分布检测系统，其特征在于，所述聚类单元还用于：
将聚类汇总后的汇总值存储在区域树对应的叶子节点。
10.根据权利要求6所述的应用性能受影响的用户分布检测系统，其特征在于，所述计算单元还用于：
根据计算结果标记所有区域树上的节点网络健康情况。
CN201210288175.8A 2012-08-15 2012-08-15 应用性能受影响的用户分布检测方法及系统 Active CN102868548B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201210288175.8A CN102868548B (zh) 2012-08-15 2012-08-15 应用性能受影响的用户分布检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210288175.8A CN102868548B (zh) 2012-08-15 2012-08-15 应用性能受影响的用户分布检测方法及系统

Publications (2)

Publication Number Publication Date
CN102868548A true CN102868548A (zh) 2013-01-09
CN102868548B CN102868548B (zh) 2016-06-15

Family

ID=47447153

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210288175.8A Active CN102868548B (zh) 2012-08-15 2012-08-15 应用性能受影响的用户分布检测方法及系统

Country Status (1)

Country Link
CN (1) CN102868548B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106357480A (zh) * 2016-11-23 2017-01-25 北京蓝海讯通科技股份有限公司 监测应用的网络性能的方法、装置及移动终端

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107517203B (zh) * 2017-08-08 2020-07-14 奇安信科技集团股份有限公司 一种用户行为基线建立方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020129137A1 (en) * 2001-03-09 2002-09-12 International Business Machines Corporation Method and system for embedding correlated performance measurements for distributed application performance decomposition
US20030023715A1 (en) * 2001-07-16 2003-01-30 David Reiner System and method for logical view analysis and visualization of user behavior in a distributed computer network
US7599939B2 (en) * 2003-11-26 2009-10-06 Loglogic, Inc. System and method for storing raw log data
CN101714930A (zh) * 2009-12-30 2010-05-26 北京世纪互联宽带数据中心有限公司 一种实现网络监控的方法及系统
CN101902505A (zh) * 2009-05-31 2010-12-01 中国科学院计算机网络信息中心 一种分布式dns查询日志的实时统计装置及方法
CN102184262A (zh) * 2011-06-15 2011-09-14 悠易互通（北京）广告有限公司 基于web的文本分类挖掘系统及方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020129137A1 (en) * 2001-03-09 2002-09-12 International Business Machines Corporation Method and system for embedding correlated performance measurements for distributed application performance decomposition
US20030023715A1 (en) * 2001-07-16 2003-01-30 David Reiner System and method for logical view analysis and visualization of user behavior in a distributed computer network
US7599939B2 (en) * 2003-11-26 2009-10-06 Loglogic, Inc. System and method for storing raw log data
CN101902505A (zh) * 2009-05-31 2010-12-01 中国科学院计算机网络信息中心 一种分布式dns查询日志的实时统计装置及方法
CN101714930A (zh) * 2009-12-30 2010-05-26 北京世纪互联宽带数据中心有限公司 一种实现网络监控的方法及系统
CN102184262A (zh) * 2011-06-15 2011-09-14 悠易互通（北京）广告有限公司 基于web的文本分类挖掘系统及方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106357480A (zh) * 2016-11-23 2017-01-25 北京蓝海讯通科技股份有限公司 监测应用的网络性能的方法、装置及移动终端
CN106357480B (zh) * 2016-11-23 2020-02-14 北京蓝海讯通科技股份有限公司 监测应用的网络性能的方法、装置及移动终端

Also Published As

Publication number Publication date
CN102868548B (zh) 2016-06-15

Similar Documents

Publication Publication Date Title
Perdisci et al. Iotfinder: Efficient large-scale identification of iot devices via passive dns traffic analysis
US20180139227A1 (en) Method for predicting security risks of assets on a computer network
US20160359880A1 (en) Geo visualization of network flows
CN104504200B (zh) 一种用于旋转机械在线振动监测的趋势曲线图显示方法
CN105681312A (zh) 一种基于频繁项集挖掘的移动互联网异常用户检测方法
CN105577679A (zh) 一种基于特征选择与密度峰值聚类的异常流量检测方法
CN105357054A (zh) 网站流量分析方法、装置和电子设备
CN114978568A (zh) 使用机器学习进行数据中心管理
CN104601349B (zh) 网络行为日志时间校正方法和装置
AU2020103047A4 (en) Crop Distribution Mapping
US20150188879A1 (en) Apparatus for grouping servers, a method for grouping servers and a recording medium
CN110661811A (zh) 一种防火墙策略管理方法及装置
CN103581198A (zh) 基于Apriori算法的安全日志分析方法
CN103795707A (zh) 企业网络安全自动化测试系统及方法
CN105868327A (zh) 一种基于不同更新策略的分布式网络爬虫抓取方法
Elmokashfi et al. Revisiting BGP churn growth
CN104468193A (zh) 一种基于组件发现对业务系统进行监控的方法
CN107870275A (zh) 基于大数据的避雷器运行状态评价方法
WO2017021290A1 (en) Network operation
CN106656577A (zh) 一种app及浏览器的用户行为统计方法及智能路由器
CN112131216A (zh) 一种基于物模型的输电线路自适应数据库创建方法及装置
CN107612925A (zh) 一种基于访问行为特征的WebShell挖掘方法
CN103593435B (zh) 不确定数据PT‑TopK查询近似处理系统和方法
CN102868548A (zh) 应用性能受影响的用户分布检测方法及系统
CN102546683B (zh) 一种主机域名收集方法和装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CP02 Change in the address of a patent holder
CP02 Change in the address of a patent holder

Address after: Room 301-302, 3rd Floor, Tiancheng Information Building, No. 88 South Tiancheng Road, High Speed Rail New City, Xiangcheng District, Suzhou City, Jiangsu Province, 215133

Patentee after: SUZHOU MAXNET NETWORK SAFETY TECHNOLOGY Co.,Ltd.

Address before: 215021 International Science and Technology Park Phase III 8B, No. 1355 Jinjihu Avenue, Industrial Park, Suzhou City, Jiangsu Province

Patentee before: SUZHOU MAXNET NETWORK SAFETY TECHNOLOGY Co.,Ltd.