[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN110266603B - 基于http协议的身份认证业务网络流量分析系统及方法 - Google Patents

基于http协议的身份认证业务网络流量分析系统及方法 Download PDF

Info

Publication number
CN110266603B
CN110266603B CN201910569202.0A CN201910569202A CN110266603B CN 110266603 B CN110266603 B CN 110266603B CN 201910569202 A CN201910569202 A CN 201910569202A CN 110266603 B CN110266603 B CN 110266603B
Authority
CN
China
Prior art keywords
network
service node
service
flow
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910569202.0A
Other languages
English (en)
Other versions
CN110266603A (zh
Inventor
于锐
张治安
王志宣
张明舵
邓晨
孙玉龙
朱可宁
安杰
吴国英
强子琦
温爽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zhongdun Anxin Technology Development Co ltd
First Research Institute of Ministry of Public Security
Original Assignee
Beijing Zhongdun Anxin Technology Development Co ltd
First Research Institute of Ministry of Public Security
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zhongdun Anxin Technology Development Co ltd, First Research Institute of Ministry of Public Security filed Critical Beijing Zhongdun Anxin Technology Development Co ltd
Priority to CN201910569202.0A priority Critical patent/CN110266603B/zh
Publication of CN110266603A publication Critical patent/CN110266603A/zh
Application granted granted Critical
Publication of CN110266603B publication Critical patent/CN110266603B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0876—Network utilisation, e.g. volume of load or congestion level
    • H04L43/0894—Packet rate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/10—Active monitoring, e.g. heartbeat, ping or trace-route
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/16—Threshold monitoring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Environmental & Geological Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • Cardiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明为一种基于HTTP协议的身份认证业务网络流量分析的系统及方法，所述系统包括进行通讯连接的认证平台、通讯接口、存储器、后端数据分析平台与流量采集设备；其中，在服务节点部署基于HTTP协议的网络流量采集设备。本发明通过对认证平台的业务流、数据流和网络规划，将认证平台中需要重点关注网络流量的部分以服务节点的方式区分，然后部署硬件网络流量采集器，之后通过Hadoop大数据处理平台，完成采集数据的分析、清洗、存储，最后基于这些数据对网络进行分析和故障预警。通过使用合理地存储技术和结构，减少落地数据的数量和被访问次数，提高了认证平台存储容量和存储效率。

Description

基于HTTP协议的身份认证业务网络流量分析系统及方法
技术领域
本发明涉及计算机软件开发编程技术领域，具体涉及基于HTTP 协议的身份认证业务网络流量分析系统及方法。
背景技术
随着互联网技术的迅猛发展，现实社会向网络空间深度延伸，网络社会已成为现实社会的重要组成部分。互联网给人们生活带来翻天覆地变化的同时也显著改变了人们的行为方式，收发邮件、社交、购物、银行交易等以前只在现实社会中发生的行为和业务，迅速在网络空间出现并得到高速发展。
近年来，我国居民身份网络认证技术获得了飞速，网络规模随着用户数呈指数级增长，也越来越庞大。支撑居民身份网络认证技术的平台及网络架构也越来越复杂，对网络故障处理的要求，也越来越高。如何勾绘网络里数据包的流转路径、优化网络节点接收和发送数据包的时间，提前对网络节点可能出现的问题进行预警，这是一个很现实也是很迫切的问题。本专利中采用基于HTTP协议的网络流量分析方法，将传统的流量分析方法用于身份认证业务中，具有实时获取各服务节点网络流量的流入、流出的数据，分析网络设备性能的瓶颈，掌握网络运行的特点，及时对网络进行合适的调整，保证网络的正常稳定运行。
(1)网络报文的采集截取和分布式存储
基于机器学习方法的网络流量分类主要按应用类型对网络层报文形成的流分类。报文是分类系统中的最小单位。按照报文五元组(源 IP地址、源端口号、目标IP地址、目标端口号以及IP协议)的定义，将报文(Packets)分成双向TCP或UDP流，抽取与协议、端口无关流的特征，形成特征向量，用特征向量表示流。表征网络流的特征有很多，Andrew Moore曾列出流的249种特征，并从中选择区分粒度最好的37种候选特征作为分类流量的特征集，具体包括流的报文个数及大小特征、流的时间特征和报文的标志位信息特征。基于以上特征的统计和计算，只需截取报文的前128个字节即可。在系统设计中，采用WinPcap工具包捕获报文，并截取报文的前128个字节形成dmp文件。其次，将报文数据基于Hadoop工具分布式存储至 HDFS。HDFS每个块的大小为64M。为了保证每个HDFS的Block能存储完整的报文个数，试验中将dmp文件头的部分信息截取保存到 Hadoop的NameNode中。如此，DataNode中每个Block存储的报文个数是64×1024×1024/128＝524 288个数据报文信息。
(2)基于MapReduce算法的网络流的形成
基于MapReduce算法的网络流形成过程分为两个阶段。第一， Map阶段应用于HDFS每个块的报文分析。根据128字节的报文信息，提取基本报文数据，包括时间、捕获长度、长度、协议、源IP地址和目标IP地址等。第二，Reduce阶段分为多层Reducer。第一层 Reducer负责将Map阶段提取的报文信息按照网络流的定义形成流，并计算流的候选特征；第二层Reducer负责将第一层Reducer形成的流按照五元组信息合并。
网络流量分析器具有普适性，在专业和定向分析上有一定的局限性，本专利在设计后端数据分析系统时，也查阅和参考了很多设计资料。目前没有查到比较适合身份认证平台的网络流量分析方法及系统。主要是认证平台以下几个原因：
1)认证平台的访问量和并发访问量都非常大；
2)通讯协议都是采用HTTP协议；
3)认证平台的网络结构复杂；
4)认证平台采用多地多中心模式。
以上这些原因，决定了认证平台的网络流量分析，没有可供使用的现成的网络流量分析系统。
发明内容
鉴于现有技术的不足，本发明旨在于提供基于HTTP协议的身份认证业务网络流量分析系统及方法，利用单一系统来解决认证平台网络流量数据采集及分析的技术方法。
通过对认证平台的业务流、数据流和网络规划，将认证平台中需要重点关注网络流量的部分以服务节点的方式区分，然后部署硬件网络流量采集器，之后通过Hadoop 大数据处理平台，完成采集数据的分析、清洗、存储，最后基于这些数据对网络进行分析和故障预警。
通过使用合理地存储技术和结构，减少落地数据的数量和被访问次数，提高了认证平台存储容量和存储效率。
为解决上述技术问题，本发明提供的技术方案如下：
基于HTTP协议的身份认证业务网络流量分析方法，所述方法包括以下步骤：
S1通过对认证平台的业务流、数据流和网络规划进行梳理和识别，将认证平台中需要重点关注网络流量的部分以服务节点的方式标识；
S2在服务节点部署基于HTTP协议的网络流量采集设备；
S3每个节点的流量镜像到流量采集设备，获取每笔业务链路上各服务器节点的流量；
S4通过Hadoop 大数据处理平台，完成采集数据的分析、清洗、存储；
S5根据网络流量数据变化的情况，实时分析网络运行状态；
S6根据服务节点网络流量的流入、流出数据，发现网络设备性能的瓶颈，掌握网络运行的特点，及时对网络进行合适的调整，保证网络的正常稳定运行；
S7依据服务节点处理性能设定每个节点的服务处理时间的阈值，通过解析服务节点的处理时间，判断服务节点的服务性能情况；
S8依据服务节点传输时间设定每个节点的服务传输时间的阈值，通过解析服务节点的传输时间，判断服务节点的服务状况。
需要说明的是，所述步骤2中可以获得一个服务节点的流入、流出数据量，
需要说明的是，所述步骤2中可以获得一个服务节点调用另一个服务节点的发出时间，并获得一个服务节点到另一服务节点的传输时间。
需要说明的是，另一个服务节点接收时间以及另一个服务节点返回一个服务节点的开始时间，并获得另一个服务节点的处理时间。
作为本发明的基于HTTP协议的身份认证业务网络流量分析系统，所述系统包括进行通讯连接的认证平台、通讯接口、存储器、后端数据分析平台与流量采集设备；其中，在服务节点部署基于HTTP协议的网络流量采集设备。
本发明有益效果在于：
1)对网络故障的预警更加及时
根据网络流量数据变化的情况发现网络中的问题，当网络流量趋近于0，表明所监控的位置可能发生网络故障，需要及时处理。
2)对网络规划中的性能瓶颈，可以做到及时发现和调整
根据网络流量的流入、流出数据的分析，发现网络设备性能的瓶颈，掌握网络运行的特点，及时对网络进行合适的调整，保证网络的正常稳定运行。
3)对网络中各服务节点的服务性能，做到精准掌握
依据服务节点处理性能设定每个节点的服务处理时间的阈值，通过解析服务节点的处理时间，判断该服务性能情况。
附图说明
图1为本发明的示意图；
图2为本发明网络流量采集流程示意图。
具体实施方式
下面通过附图与实施例的方式进一步说明本发明，但并不因此将本发明限制在所述的实施例范围之中。
如图1所示，本发明为基于HTTP协议的身份认证业务网络流量分析方法，所述方法包括以下步骤：
S1通过对认证平台的业务流、数据流和网络规划进行梳理和识别，将认证平台中需要重点关注网络流量的部分以服务节点的方式标识；
S2在服务节点部署基于HTTP协议的网络流量采集设备；
S3每个节点的流量镜像到流量采集设备，获取每笔业务链路上各服务器节点的流量；
S4通过Hadoop 大数据处理平台，完成采集数据的分析、清洗、存储；
S5根据网络流量数据变化的情况，实时分析网络运行状态；
S6根据服务节点网络流量的流入、流出数据，发现网络设备性能的瓶颈，掌握网络运行的特点，及时对网络进行合适的调整，保证网络的正常稳定运行；
S7依据服务节点处理性能设定每个节点的服务处理时间的阈值，通过解析服务节点的处理时间，判断服务节点的服务性能情况；
S8依据服务节点传输时间设定每个节点的服务传输时间的阈值，通过解析服务节点的传输时间，判断服务节点的服务状况。
需要说明的是，所述步骤2中可以获得一个服务节点的流入、流出数据量，
需要说明的是，所述步骤2中可以获得一个服务节点调用另一个服务节点的发出时间，并获得一个服务节点到另一服务节点的传输时间。
需要说明的是，另一个服务节点接收时间以及另一个服务节点返回一个服务节点的开始时间，并获得另一个服务节点的处理时间。
如图2所示，将每个节点的流量镜像到流量采集设备F，获取每笔业务链路上各服务器节点的流量，当一笔业务从服务节点A到服务节点B调用时，通过流量数据的分析，得到如下内容：
(1)B服务节点的流入、流出数据量；
(2)A服务节点调用B服务节点的发出时间、到达B服务的时间，通过计算得到A服务到B服务的传输时间；
(2)B服务节点接收时间以及B服务节点返回A服务节点的开始时间，通过计算得到B服务的处理时间。
根据采集的数据，还可以获得以下分析：
(1)分析网络运行状态：根据网络流量数据变化的情况发现网络中的问题，当网络流量趋近于0，表明所监控的位置可能发生网络故障，需要及时处理；
(2)分析不同时长网络流量数据：根据网络流量的流入、流出数据，发现网络设备性能的瓶颈，掌握网络运行的特点，及时对网络进行合适的调整，保证网络的正常稳定运行；
(3)解析服务节点处理时间：依据服务节点处理性能设定每个节点的服务处理时间的阈值，通过解析服务节点的处理时间，判断该服务性能情况；
(4)解析服务节点传输时间：依据服务节点传输时间设定每个节点的服务传输时间的阈值，通过解析服务节点的传输时间，判断该服务状况。
虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这仅是举例说明，本发明的保护范围是由所附权利要求书限定的。本领域的技术人员在不背离本发明的原理和实质的前提下，可以对这些实施方式做出多种变更或修改，但这些变更和修改均落入本发明的保护范围。

Claims (2)

1.基于HTTP协议的身份认证业务网络流量分析方法，其特征在于，所述方法包括以下步骤：
S1通过对认证平台的业务流、数据流和网络规划进行梳理和识别，将认证平台中需要重点关注网络流量的部分以服务节点的方式标识；
S2在服务节点部署基于HTTP协议的网络流量采集设备；
S3每个服务节点的流量镜像到网络流量采集设备，获取每笔业务链路上各服务节点的流量；
S4通过HADOOP大数据处理平台，完成采集数据的分析、清洗、存储；
S5根据网络流量数据变化的情况，实时分析网络运行状态：根据网络流量数据变化的情况发现网络中的问题，当网络流量趋近于0，表明所监控的位置可能发生网络故障，需要及时处理；
S6根据服务节点网络流量的流入、流出数据，发现网络设备性能的瓶颈，掌握网络运行的特点，及时对网络进行合适的调整，保证网络的正常稳定运行；
S7依据服务节点处理性能设定每个服务节点的服务处理时间的阈值，通过解析服务节点的处理时间，判断服务节点的服务性能情况；
S8依据服务节点传输时间设定每个服务节点的服务传输时间的阈值，通过解析服务节点的传输时间，判断服务节点的服务状况；
所述步骤S2中包括获得一个服务节点的流入、流出数据量；
所述步骤S2中包括获得一个服务节点调用另一个服务节点的发出时间，并获得一个服务节点到另一服务节点的传输时间，以及获得另一个服务节点接收时间以及另一个服务节点返回一个服务节点的开始时间，并获得另一个服务节点的处理时间。
2.一种用于执行权利要求1所述的基于HTTP协议的身份认证业务网络流量分析方法的系统，其特征在于，所述系统包括进行通讯连接的认证平台、通讯接口、存储器、后端数据分析平台与网络流量采集设备；其中，在服务节点部署基于HTTP协议的网络流量采集设备。
CN201910569202.0A 2019-06-27 2019-06-27 基于http协议的身份认证业务网络流量分析系统及方法 Active CN110266603B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910569202.0A CN110266603B (zh) 2019-06-27 2019-06-27 基于http协议的身份认证业务网络流量分析系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910569202.0A CN110266603B (zh) 2019-06-27 2019-06-27 基于http协议的身份认证业务网络流量分析系统及方法

Publications (2)

Publication Number Publication Date
CN110266603A CN110266603A (zh) 2019-09-20
CN110266603B true CN110266603B (zh) 2022-12-20

Family

ID=67922410

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910569202.0A Active CN110266603B (zh) 2019-06-27 2019-06-27 基于http协议的身份认证业务网络流量分析系统及方法

Country Status (1)

Country Link
CN (1) CN110266603B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112069021B (zh) * 2020-08-21 2024-02-20 北京五八信息技术有限公司 流量数据的存储方法、装置、电子设备和存储介质
CN113542160A (zh) * 2021-05-27 2021-10-22 贵州电网有限责任公司 一种基于sdn的云内东西向流量牵引方法与系统
CN114244582B (zh) * 2021-11-29 2023-06-20 国网江西省电力有限公司电力科学研究院 一种物联网中数据关联的低配数据采集终端认证方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104753732A (zh) * 2013-12-27 2015-07-01 郭祖龙 一种基于分布式的网络流量分析系统及方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7991827B1 (en) * 2002-11-13 2011-08-02 Mcafee, Inc. Network analysis system and method utilizing collected metadata
CN102148716A (zh) * 2010-02-05 2011-08-10 中国联合网络通信集团有限公司 一种点对点系统网络性能测试方法及其系统
CN105610983A (zh) * 2016-03-07 2016-05-25 北京荣之联科技股份有限公司 一种分布式的网络监控方法及系统
CN105979532B (zh) * 2016-04-15 2020-01-03 北京思特奇信息技术股份有限公司 一种业务处理系统的性能容量分析预警方法及装置
CN108833126B (zh) * 2018-04-02 2021-07-23 平安科技（深圳）有限公司 电子装置、数据链路风险预警方法及存储介质
CN109586999B (zh) * 2018-11-12 2021-03-23 深圳先进技术研究院 一种容器云平台状态监控预警系统、方法及电子设备

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104753732A (zh) * 2013-12-27 2015-07-01 郭祖龙 一种基于分布式的网络流量分析系统及方法

Also Published As

Publication number Publication date
CN110266603A (zh) 2019-09-20

Similar Documents

Publication Publication Date Title
CN106815112B (zh) 一种基于深度包检测的海量数据监控系统及方法
CN111277578A (zh) 加密流量分析特征提取方法、系统、存储介质、安全设备
US9686157B2 (en) Real-time adaptive processing of network data packets for analysis
CN110266603B (zh) 基于http协议的身份认证业务网络流量分析系统及方法
CN102739457B (zh) 一种基于dpi和svm技术的网络流量识别方法
CN106921637A (zh) 网络流量中的应用信息的识别方法和装置
CN102035698B (zh) 基于决策树分类算法的http隧道检测方法
US20050289231A1 (en) System analysis program, system analysis method, and system analysis apparatus
CN111935170A (zh) 一种网络异常流量检测方法、装置及设备
CN111935063B (zh) 一种终端设备异常网络访问行为监测系统及方法
CN110855493A (zh) 用于混合环境的应用拓扑图绘制装置
CN114281676A (zh) 针对工控私有协议的黑盒模糊测试方法及系统
CN101764754B (zh) 基于dpi和dfi的业务识别系统中的样本获取方法
Cai et al. Flow identification and characteristics mining from internet traffic with hadoop
CN106446008A (zh) 数据库安全事件的管理方法及分析系统
CN107360062B (zh) Dpi设备识别结果的验证方法、系统及dpi设备
CN111447169B (zh) 一种在网关上的实时恶意网页识别方法及系统
CN112235254A (zh) 一种高速主干网中Tor网桥的快速识别方法
CN117914599A (zh) 基于图神经网络的移动网络恶意流量识别方法
CN113037551B (zh) 一种基于流量切片的涉敏业务快速识别定位方法
Elsen et al. goProbe: a scalable distributed network monitoring solution
Wehner et al. On learning hierarchical embeddings from encrypted network traffic
CN116170829B (zh) 一种独立专网业务的运维场景识别方法及装置
KR20060063564A (ko) 샘플링과 시그너쳐 검색 기능을 구비한 인터넷 프로토콜패킷 수집 장치 및 그 방법
Liu et al. Next generation internet traffic monitoring system based on netflow

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20210722

Address after: 100048 No. 1, South Road, capital gymnasium, Beijing, Haidian District

Applicant after: THE FIRST Research Institute OF MINISTRY OF PUBLIC SECURITY

Applicant after: Beijing ZHONGDUN Anxin Technology Development Co.,Ltd.

Address before: 100048 No. 1, South Road, capital gymnasium, Beijing, Haidian District

Applicant before: THE FIRST Research Institute OF MINISTRY OF PUBLIC SECURITY

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant