CN111949803B - 一种基于知识图谱的网络异常用户检测方法、装置和设备 - Google Patents
一种基于知识图谱的网络异常用户检测方法、装置和设备 Download PDFInfo
- Publication number
- CN111949803B CN111949803B CN202010850232.1A CN202010850232A CN111949803B CN 111949803 B CN111949803 B CN 111949803B CN 202010850232 A CN202010850232 A CN 202010850232A CN 111949803 B CN111949803 B CN 111949803B
- Authority
- CN
- China
- Prior art keywords
- access
- user
- network
- behavior
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000002159 abnormal effect Effects 0.000 title claims abstract description 59
- 238000001514 detection method Methods 0.000 title claims abstract description 42
- 238000007637 random forest analysis Methods 0.000 claims abstract description 41
- 238000000034 method Methods 0.000 claims abstract description 22
- 238000013507 mapping Methods 0.000 claims abstract description 8
- 230000006399 behavior Effects 0.000 claims description 153
- 238000012549 training Methods 0.000 claims description 18
- 238000001228 spectrum Methods 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 8
- 238000010276 construction Methods 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 5
- 238000004458 analytical method Methods 0.000 abstract description 5
- 238000004364 calculation method Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 206010000117 Abnormal behaviour Diseases 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
- G06F16/367—Ontology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/24323—Tree-organised classifiers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/069—Management of faults, events, alarms or notifications using logs of notifications; Post-processing of notifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
- H04L63/1425—Traffic logging, e.g. anomaly detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Computer Security & Cryptography (AREA)
- Signal Processing (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Computational Linguistics (AREA)
- Animal Behavior & Ethology (AREA)
- Computer Hardware Design (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本申请公开了一种基于知识图谱的网络异常用户检测方法、装置和设备,其中方法包括:基于获取的访问用户的网络日志构建用户访问行为的知识图谱,得到网络行为图谱;基于网络行为图谱和网络日志提取各访问用户的访问行为特征;将各访问用户的访问行为特征输入预置随机森林模型进行用户类型检测,输出用户类型为异常的访问用户,预置随机森林模型为访问用户的访问行为特征与用户类型的关系映射模型,解决了现有技术均是针对单条日志进行分析,即单个访问行为的相关属性,存在异常用户检测结果精度不高的技术问题。
Description
技术领域
本申请涉及网络安全技术领域,尤其涉及一种基于知识图谱的网络异常用户检测方法、装置和设备。
背景技术
网络日志是网站的用户点击信息和其他访问行为的汇总,详细地记录了网站行为的相关属性。在网站遭受攻击后,网络管理者通常会查看相关的网络访问日志的信息。因此,网络日志成为网络管理者发现并防御网络入侵者的攻击行为的重要凭据。然而,为了逃避追查,入侵者通常会让攻击行为产生的日志信息和正常访问行为产生的日志信息尽可能相似,使得网络管理者发现入侵者的难度加大。
目前,现有的基于网络日志的异常行为分析方法,主要通过网络日志构建模型,试图找到正常日志内容和攻击日志内容的特点与差异,但现有方法均是针对单条日志进行分析,即单个访问行为的相关属性,存在异常用户检测结果精度不高的问题。
发明内容
本申请提供了一种基于知识图谱的网络异常用户检测方法、装置和设备,用于解决现有技术均是针对单条日志进行分析,即单个访问行为的相关属性,存在异常用户检测结果精度不高的技术问题。
有鉴于此,本申请第一方面提供了一种基于知识图谱的网络异常用户检测方法,包括:
基于获取的访问用户的网络日志构建用户访问行为的知识图谱,得到网络行为图谱;
基于所述网络行为图谱和所述网络日志提取各所述访问用户的访问行为特征;
将各所述访问用户的访问行为特征输入预置随机森林模型进行用户类型检测,输出用户类型为异常的访问用户,所述预置随机森林模型为所述访问用户的访问行为特征与用户类型的关系映射模型。
可选的,所述基于获取的访问用户的网络日志构建用户访问行为的知识图谱,得到网络行为图谱,包括:
在获取访问用户的网络日志后,将所述网络日志内的访问地址作为节点,根据所述网络日志获取所述节点之间的访问关系,并基于所述节点和所述访问关系构建用户访问行为的知识图谱,得到网络行为图谱;
其中,所述网络行为图谱中具有所述访问关系的两个节点之间连接有一条边,所述边的权重为所述两个节点之间的访问次数。
可选的,所述基于所述网络行为图谱和所述网络日志提取各所述访问用户的访问行为特征,包括:
基于所述网络行为图谱提取各所述访问用户的第一网络访问特征,并基于所述网络日志提取各所述访问用户的第二网络访问特征,得到各所述访问用户的访问行为特征;
其中,所述第一网络访问特征包括:用户路径规模特征、用户日志数量特征或用户访问频率特征,第二网络访问特征包括:URL长度特征、请求参数数量特征、特殊字符频率特征或字符熵特征。
可选的,基于所述网络行为图谱提取各所述访问用户的用户路径规模特征,包括:
在提取所述网络行为图谱中各所述访问用户所有的访问路径的权重后,计算各所述访问用户所有的访问路径的权重之和与所述网络行为图谱中所有所述访问用户所有的访问路径的权重之和的比值,得到各所述访问用户的用户路径规模特征。
可选的,所述预置随机森林模型的配置过程包括:
获取正常访问用户和异常访问用户的历史网络日志;
基于所述历史网络日志构建的网络行为图谱和所述历史网络日志提取所述正常访问用户和所述异常访问用户的访问行为特征;
对所述正常访问用户和所述异常访问用户的访问行为特征进行类别标记,得到训练集;
通过所述训练集对随机森林进行训练,直至所述随机森林收敛,得到所述预置随机森林模型。
本申请第二方面提供了一种基于知识图谱的网络异常用户检测装置,包括:
构建单元,用于基于获取的访问用户的网络日志构建用户访问行为的知识图谱,得到网络行为图谱;
特征提取单元,用于基于所述网络行为图谱和所述网络日志提取各所述访问用户的访问行为特征;
检测单元,用于将各所述访问用户的访问行为特征输入预置随机森林模型进行用户类型检测,输出用户类型为异常的访问用户,所述预置随机森林模型为所述访问用户的访问行为特征与用户类型的关系映射模型。
可选的,所述构建单元具体用于:
在获取访问用户的网络日志后,将所述网络日志内的访问地址作为节点,根据所述网络日志获取所述节点之间的访问关系,并基于所述节点和所述访问关系构建用户访问行为的知识图谱,得到网络行为图谱;
其中,所述网络行为图谱中具有所述访问关系的两个节点之间连接有一条边,所述边的权重为所述两个节点之间的访问次数。
可选的,所述特征提取单元具体用于:
基于所述网络行为图谱提取各所述访问用户的第一网络访问特征,并基于所述网络日志提取各所述访问用户的第二网络访问特征,得到各所述访问用户的访问行为特征;
其中,所述第一网络访问特征包括:用户路径规模特征、用户日志数量特征或用户访问频率特征,第二网络访问特征包括:URL长度特征、请求参数数量特征、特殊字符频率特征或字符熵特征。
可选的,还包括:配置单元;
所述配置单元用于:
获取正常访问用户和异常访问用户的历史网络日志;
基于所述历史网络日志构建的网络行为图谱和所述历史网络日志提取所述正常访问用户和所述异常访问用户的访问行为特征;
对所述正常访问用户和所述异常访问用户的访问行为特征进行类别标记,得到训练集;
通过所述训练集对随机森林进行训练,直至所述随机森林收敛,得到所述预置随机森林模型。
本申请第三方面提供了一种基于知识图谱的网络异常用户检测设备,所述设备包括处理器以及存储器:
所述存储器用于存储程序代码,并将所述程序代码传输给所述处理器;
所述处理器用于根据所述程序代码中的指令执行第一方面任一种所述的基于知识图谱的网络异常用户检测方法。
从以上技术方案可以看出,本申请具有以下优点:
本申请提供了一种基于知识图谱的网络异常用户检测方法,包括:基于获取的访问用户的网络日志构建用户访问行为的知识图谱,得到网络行为图谱;基于网络行为图谱和网络日志提取各访问用户的访问行为特征;将各访问用户的访问行为特征输入预置随机森林模型进行用户类型检测,输出用户类型为异常的访问用户,预置随机森林模型为访问用户的访问行为特征与用户类型的关系映射模型。
本申请中的基于知识图谱的网络异常用户检测方法,基于获取的访问用户的网络日志构建用户访问行为的知识图谱,得到网络行为图谱,通过多条网络日志来共同体现访问用户的行为,而不仅仅是通过一条网络日志来体现访问用户的行为,通过网络行为图谱可以分析得到更为准确的访问行为特征;并且,基于网络行为图谱和网络日志来提取访问用户的访问行为特征,从两个方面提取访问行为特征,可以得到更全面和更准确的特征表示,有助于提高网络异常用户检测的准确率;通过预置随机森林模型自动对输入的访问行为特征进行用户类型检测,提高检测效率,从而解决了现有技术均是针对单条日志进行分析,即单个访问行为的相关属性,存在异常用户检测结果精度不高的技术问题。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其它的附图。
图1为本申请实施例提供的一种基于知识图谱的网络异常用户检测方法的一个流程示意图;
图2为本申请实施例提供的一种基于知识图谱的网络异常用户检测装置的一个结构示意图;
图3为本申请实施例提供的一个网络行为图谱的一个结构示意图。
具体实施方式
本申请提供了一种基于知识图谱的网络异常用户检测方法、装置和设备,用于解决现有技术均是针对单条日志进行分析,即单个访问行为的相关属性,存在异常用户检测结果精度不高的技术问题。
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
现有技术中采用机器学习方法来构建异常日志或正常日志的模型,试图从中找到正常日志和异常日志的特点与差异,但是现有方法都是针对单条日志,即单个访问行为的相关属性。然而,在网站的访问过程中,被同一个用户主导的访问行为之间,访问同一个路径的不同的用户之间,以及用户和访问路径之间并非是完全独立的,都存在复杂的关系。基于此,为解决上述问题,本申请提供了一种基于知识图谱的网络异常用户检测方法。
为了便于理解,请参阅图1,本申请提供的一种基于知识图谱的网络异常用户检测方法的一个实施例,包括:
步骤101、基于获取的访问用户的网络日志构建用户访问行为的知识图谱,得到网络行为图谱。
网络日志的原始数据包含的信息很多,其中部分信息在异常用户检测中没有价值。因此,可以对网络日志进行预处理,将对于异常用户检测中无用的信息去除,保留有价值的信息,可以提高数据处理效率。基于处理后的网络日志构建用户访问行为的知识图谱,得到网络行为图谱。其中,可以根据每个访问用户的网络日志数据构建每一个访问用户的小型网络行为图谱;也可以根据所有访问用户的网络日志数据构建一个包含所有访问用户的访问行为的网络行为图谱,该网络行为图谱可以看成是单个访问用户的网络行为图谱的叠加。
进一步,构建得到网络行为图谱的具体过程包括:在获取访问用户的网络日志后,将网络日志内的访问地址作为节点,根据网络日志获取节点之间的访问关系,并基于节点和访问关系构建用户访问行为的知识图谱,得到网络行为图谱;其中,网络行为图谱中具有访问关系的两个节点之间连接有一条边,边的权重为两个节点之间的访问次数。请参考图3,节点1、2和3分别表示不同的3个访问地址,节点到节点之间的边为访问路径,w12为节点1和节点2之间的访问路径的权重,该权重等于节点1和节点2之间的访问次数。其他节点类似,在此不再进行赘述。
步骤102、基于网络行为图谱和网络日志提取各访问用户的访问行为特征。
在构建好网络行为图谱后,从网络行为图谱和网络日志中提取多个特征作为访问用户的访问行为特征,得到更为全面和更准确的特征表示,有助于提高后续的异常用户检测的准确率。
进一步,各访问用户的访问行为特征的提取过程具体包括:基于网络行为图谱提取各访问用户的第一网络访问特征,并基于网络日志提取各访问用户的第二网络访问特征,得到各访问用户的访问行为特征。其中,第一网络访问特征包括:用户路径规模特征、用户日志数量特征或用户访问频率特征,第二网络访问特征包括:URL长度特征、请求参数数量特征、特殊字符频率特征或字符熵特征,本申请实施例中优选采用上述全部特征作为访问行为特征。
各特征的提取过程如下:
(1)用户路径规模特征P1:
在提取网络行为图谱中各访问用户所有的访问路径的权重后,计算各访问用户所有的访问路径的权重之和与网络行为图谱中所有访问用户所有的访问路径的权重之和的比值,得到各访问用户的用户路径规模特征,该特征指标用于衡量访问用户的访问路径的范围。具体的,对于访问用户c,记访问用户c访问的短路径集合为SPc,由访问用户c访问的路径组成的网络行为图谱记为由所有访问用户组成的网络行为图谱为N2,访问用户c的用户路径网络规模特征P1 c的计算公式为:
式中,eij为节点i与节点j的边,为由访问用户c访问的路径组成的网络行为图谱中节点i与节点j的边eij的权重,wij为由所有访问用户访问的路径组成的网络行为图谱中节点i与节点j的边eij的权重。当P1 c很大时,该访问用户c很有可能是扫描器,意图了解该网络应用的整体架构,该类型的访问用户可能并没有发起实际的攻击,然而,大多数都在探测网络,试图发现网络结构中的脆弱节点,这些节点的产生是由于开发人员安全意识不足,或者是和网络基础设施相关,也有可能是与网络应用依赖的其他组件的脆弱性相关。
(2)用户日志数量特征P2:
该特征指标从另外一个不同的角度衡量了访问用户的访问范围。路径网络的范围关注于用户访问日志的广度和深度,而用户日志数量特征该特征指标更关注于用户访问产生网络日志的数量。
(3)用户访问频率特征P3:
采用用户访问频率特征指标可以有效识别出恶意软件。为了得到访问用户的访问频率,可以先选取一个时间区间,然后计算在这个时间区间内用户访问产生的网络日志的个数,进而将网络日志的个数除以时间区间就可以计算得到访问用户在这个时间区间内的用户访问频率特征。因为用户的访问频率在这个时间区间内会变化,所以计算得到的用户访问频率特征是在这个时间区间内访问的平均频率。该特征指标是为了找出访问频率高的异常访问用户。理论上,时间区间越小,得到的结果就越准确,然而,计算量也会急剧上升。本申请实施例中为了平衡结果的准确性和计算量,优选采用时间区间为100秒,对于每个访问用户,分别计算每100秒用户的访问频率,将该访问用户最大的访问频率作为该用户的用户访问频率特征。
(4)第二网络访问特征
第二网络访问特征包括:URL长度特征、请求参数数量特征、特殊字符频率特征或字符熵特征,其中字符熵的计算公式为:
式中,Ei为第i个访问用户的字符熵,为第i个访问用户在请求中的第k个字符出现的次数。
步骤103、将各访问用户的访问行为特征输入预置随机森林模型进行用户类型检测,输出用户类型为异常的访问用户,预置随机森林模型为访问用户的访问行为特征与用户类型的关系映射模型。
通过预先配置好的预置随机森林模型对输入的访问行为特征自动进行用户类型检测,根据输入的访问行为特征检测对应的访问用户类型是属于异常还是正常,最终将用户类型为异常的访问用户输出,达到检测网络异常用户的目的。可以一小时累积的网络日志作为一次计算的对象,根据上述步骤提取相应的访问行为特征,进而通过预置随机森林模型进行检测。
进一步,预置随机森林模型的配置过程包括:
1、获取正常访问用户和异常访问用户的历史网络日志;
2、基于历史网络日志构建的网络行为图谱和历史网络日志提取正常访问用户和异常访问用户的访问行为特征;
3、对正常访问用户和异常访问用户的访问行为特征进行类别标记,得到训练集;
4、通过训练集对随机森林进行训练,直至随机森林收敛,得到预置随机森林模型。
本申请实施例中的基于知识图谱的网络异常用户检测方法,基于获取的访问用户的网络日志构建用户访问行为的知识图谱,得到网络行为图谱,通过多条网络日志来共同体现访问用户的行为,而不仅仅是通过一条网络日志来体现访问用户的行为,通过网络行为图谱可以分析得到更为准确的访问行为特征;并且,基于网络行为图谱和网络日志来提取访问用户的访问行为特征,从两个方面提取访问行为特征,可以得到更全面和更准确的特征表示,有助于提高网络异常用户检测的准确率;通过预置随机森林模型自动对输入的访问行为特征进行用户类型检测,提高检测效率,从而解决了现有技术均是针对单条日志进行分析,即单个访问行为的相关属性,存在异常用户检测结果精度不高的技术问题。
以上为本申请提供的一种基于知识图谱的网络异常用户检测方法的一个实施例,以下为本申请提供的一种基于知识图谱的网络异常用户检测装置的一个实施例。
为了便于理解,请参阅图2,本申请提供的一种基于知识图谱的网络异常用户检测装置的一个实施例,包括:
构建单元201,用于基于获取的访问用户的网络日志构建用户访问行为的知识图谱,得到网络行为图谱。
特征提取单元202,用于基于网络行为图谱和网络日志提取各访问用户的访问行为特征。
检测单元203,用于将各访问用户的访问行为特征输入预置随机森林模型进行用户类型检测,输出用户类型为异常的访问用户,预置随机森林模型为访问用户的访问行为特征与用户类型的关系映射模型。
作为进一步地改进,构建单元201具体用于:
在获取访问用户的网络日志后,将网络日志内的访问地址作为节点,根据网络日志获取节点之间的访问关系,并基于节点和访问关系构建用户访问行为的知识图谱,得到网络行为图谱;
其中,网络行为图谱中具有访问关系的两个节点之间连接有一条边,边的权重为两个节点之间的访问次数。
作为进一步地改进,特征提取单元202具体用于:
基于网络行为图谱提取各访问用户的第一网络访问特征,并基于网络日志提取各访问用户的第二网络访问特征,得到各访问用户的访问行为特征;
其中,第一网络访问特征包括:用户路径规模特征、用户日志数量特征或用户访问频率特征,第二网络访问特征包括:URL长度特征、请求参数数量特征、特殊字符频率特征或字符熵特征。
作为进一步地改进,还包括:配置单元204;
配置单元204用于:
获取正常访问用户和异常访问用户的历史网络日志;
基于历史网络日志构建的网络行为图谱和历史网络日志提取正常访问用户和异常访问用户的访问行为特征;
对正常访问用户和异常访问用户的访问行为特征进行类别标记,得到训练集;
通过训练集对随机森林进行训练,直至随机森林收敛,得到预置随机森林模型。
本申请实施例还提供了一种基于知识图谱的网络异常用户检测设备,设备包括处理器以及存储器:
存储器用于存储程序代码,并将程序代码传输给处理器;
处理器用于根据程序代码中的指令执行前述的基于知识图谱的网络异常用户检测方法实施例的基于知识图谱的网络异常用户检测方法。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以通过一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(英文全称:Read-OnlyMemory,英文缩写:ROM)、随机存取存储器(英文全称:RandomAccess Memory,英文缩写:RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (3)
1.一种基于知识图谱的网络异常用户检测方法,其特征在于,包括:
基于获取的访问用户的网络日志构建用户访问行为的知识图谱,得到网络行为图谱;
基于所述网络行为图谱和所述网络日志提取各所述访问用户的访问行为特征;
将各所述访问用户的访问行为特征输入预置随机森林模型进行用户类型检测,输出用户类型为异常的访问用户,所述预置随机森林模型为所述访问用户的访问行为特征与用户类型的关系映射模型;
所述基于获取的访问用户的网络日志构建用户访问行为的知识图谱,得到网络行为图谱,包括:
在获取访问用户的网络日志后,将所述网络日志内的访问地址作为节点,根据所述网络日志获取所述节点之间的访问关系,并基于所述节点和所述访问关系构建用户访问行为的知识图谱,得到网络行为图谱;
其中,所述网络行为图谱中具有所述访问关系的两个节点之间连接有一条边,所述边的权重为所述两个节点之间的访问次数;
所述预置随机森林模型的配置过程包括:
获取正常访问用户和异常访问用户的历史网络日志;
基于所述历史网络日志构建的网络行为图谱和所述历史网络日志提取所述正常访问用户和所述异常访问用户的访问行为特征;
对所述正常访问用户和所述异常访问用户的访问行为特征进行类别标记,得到训练集;
通过所述训练集对随机森林进行训练,直至所述随机森林收敛,得到所述预置随机森林模型;
所述基于所述网络行为图谱和所述网络日志提取各所述访问用户的访问行为特征,包括:
基于所述网络行为图谱提取各所述访问用户的第一网络访问特征,并基于所述网络日志提取各所述访问用户的第二网络访问特征,得到各所述访问用户的访问行为特征;
其中,所述第一网络访问特征包括:用户路径规模特征、用户日志数量特征或用户访问频率特征,第二网络访问特征包括:URL长度特征、请求参数数量特征、特殊字符频率特征或字符熵特征;
基于所述网络行为图谱提取各所述访问用户的用户路径规模特征,包括:
在提取所述网络行为图谱中各所述访问用户所有的访问路径的权重后,计算各所述访问用户所有的访问路径的权重之和与所述网络行为图谱中所有所述访问用户所有的访问路径的权重之和的比值,得到各所述访问用户的用户路径规模特征。
2.一种基于知识图谱的网络异常用户检测装置,其特征在于,包括:
构建单元,用于基于获取的访问用户的网络日志构建用户访问行为的知识图谱,得到网络行为图谱;
特征提取单元,用于基于所述网络行为图谱和所述网络日志提取各所述访问用户的访问行为特征;
检测单元,用于将各所述访问用户的访问行为特征输入预置随机森林模型进行用户类型检测,输出用户类型为异常的访问用户,所述预置随机森林模型为所述访问用户的访问行为特征与用户类型的关系映射模型;
所述构建单元具体用于:
在获取访问用户的网络日志后,将所述网络日志内的访问地址作为节点,根据所述网络日志获取所述节点之间的访问关系,并基于所述节点和所述访问关系构建用户访问行为的知识图谱,得到网络行为图谱;
其中,所述网络行为图谱中具有所述访问关系的两个节点之间连接有一条边,所述边的权重为所述两个节点之间的访问次数;
配置单元,用于获取正常访问用户和异常访问用户的历史网络日志;
基于所述历史网络日志构建的网络行为图谱和所述历史网络日志提取所述正常访问用户和所述异常访问用户的访问行为特征;
对所述正常访问用户和所述异常访问用户的访问行为特征进行类别标记,得到训练集;
通过所述训练集对随机森林进行训练,直至所述随机森林收敛,得到所述预置随机森林模型;
所述特征提取单元具体用于:
基于所述网络行为图谱提取各所述访问用户的第一网络访问特征,并基于所述网络日志提取各所述访问用户的第二网络访问特征,得到各所述访问用户的访问行为特征;
其中,所述第一网络访问特征包括:用户路径规模特征、用户日志数量特征或用户访问频率特征,第二网络访问特征包括:URL长度特征、请求参数数量特征、特殊字符频率特征或字符熵特征;
基于所述网络行为图谱提取各所述访问用户的用户路径规模特征,包括:
在提取所述网络行为图谱中各所述访问用户所有的访问路径的权重后,计算各所述访问用户所有的访问路径的权重之和与所述网络行为图谱中所有所述访问用户所有的访问路径的权重之和的比值,得到各所述访问用户的用户路径规模特征。
3.一种基于知识图谱的网络异常用户检测设备,其特征在于,所述设备包括处理器以及存储器:
所述存储器用于存储程序代码,并将所述程序代码传输给所述处理器;
所述处理器用于根据所述程序代码中的指令执行权利要求1所述的基于知识图谱的网络异常用户检测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010850232.1A CN111949803B (zh) | 2020-08-21 | 2020-08-21 | 一种基于知识图谱的网络异常用户检测方法、装置和设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010850232.1A CN111949803B (zh) | 2020-08-21 | 2020-08-21 | 一种基于知识图谱的网络异常用户检测方法、装置和设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111949803A CN111949803A (zh) | 2020-11-17 |
CN111949803B true CN111949803B (zh) | 2024-05-28 |
Family
ID=73359110
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010850232.1A Active CN111949803B (zh) | 2020-08-21 | 2020-08-21 | 一种基于知识图谱的网络异常用户检测方法、装置和设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111949803B (zh) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112604297B (zh) * | 2020-12-29 | 2024-11-08 | 网易(杭州)网络有限公司 | 游戏外挂的检测方法、装置、服务器及存储介质 |
CN113572752B (zh) * | 2021-07-20 | 2023-11-07 | 上海明略人工智能(集团)有限公司 | 异常流量的检测方法和装置、电子设备、存储介质 |
CN113726786B (zh) * | 2021-08-31 | 2023-05-05 | 上海观安信息技术股份有限公司 | 异常访问行为的检测方法、装置、存储介质及电子设备 |
CN113987206A (zh) * | 2021-10-29 | 2022-01-28 | 平安银行股份有限公司 | 异常用户的识别方法、装置、设备及存储介质 |
CN114143049B (zh) * | 2021-11-18 | 2024-08-02 | 北京明略软件系统有限公司 | 异常流量检测方法、装置、存储介质以及电子设备 |
CN114422267B (zh) * | 2022-03-03 | 2024-02-06 | 北京天融信网络安全技术有限公司 | 流量检测方法、装置、设备及介质 |
CN114329455B (zh) * | 2022-03-08 | 2022-07-29 | 北京大学 | 基于异构图嵌入的用户异常行为检测方法及装置 |
CN114710392B (zh) * | 2022-03-23 | 2024-03-12 | 阿里云计算有限公司 | 事件信息的获取方法及装置 |
CN115378988B (zh) * | 2022-10-25 | 2023-02-24 | 国网智能电网研究院有限公司 | 基于知识图谱的数据访问异常检测及控制方法、装置 |
CN116668192B (zh) * | 2023-07-26 | 2023-11-10 | 国网山东省电力公司信息通信公司 | 一种网络用户行为异常检测方法及系统 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106599160A (zh) * | 2016-12-08 | 2017-04-26 | 网帅科技(北京)有限公司 | 一种内容规则库管理系统及其编码方法 |
WO2017084362A1 (zh) * | 2015-11-18 | 2017-05-26 | 百度在线网络技术(北京)有限公司 | 模型生成方法、推荐方法及对应装置、设备和存储介质 |
CN108600270A (zh) * | 2018-05-10 | 2018-09-28 | 北京邮电大学 | 一种基于网络日志的异常用户检测方法及系统 |
CN109460664A (zh) * | 2018-10-23 | 2019-03-12 | 北京三快在线科技有限公司 | 风险分析方法、装置、电子设计及计算机可读介质 |
CN109816397A (zh) * | 2018-12-03 | 2019-05-28 | 北京奇艺世纪科技有限公司 | 一种欺诈判别方法、装置及存储介质 |
-
2020
- 2020-08-21 CN CN202010850232.1A patent/CN111949803B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017084362A1 (zh) * | 2015-11-18 | 2017-05-26 | 百度在线网络技术(北京)有限公司 | 模型生成方法、推荐方法及对应装置、设备和存储介质 |
CN106599160A (zh) * | 2016-12-08 | 2017-04-26 | 网帅科技(北京)有限公司 | 一种内容规则库管理系统及其编码方法 |
CN108600270A (zh) * | 2018-05-10 | 2018-09-28 | 北京邮电大学 | 一种基于网络日志的异常用户检测方法及系统 |
CN109460664A (zh) * | 2018-10-23 | 2019-03-12 | 北京三快在线科技有限公司 | 风险分析方法、装置、电子设计及计算机可读介质 |
CN109816397A (zh) * | 2018-12-03 | 2019-05-28 | 北京奇艺世纪科技有限公司 | 一种欺诈判别方法、装置及存储介质 |
Non-Patent Citations (1)
Title |
---|
网络威胁安全数据可视化综述;张繁;谢凡;江颉;;网络与信息安全学报(第02期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN111949803A (zh) | 2020-11-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111949803B (zh) | 一种基于知识图谱的网络异常用户检测方法、装置和设备 | |
CN112003870B (zh) | 一种基于深度学习的网络加密流量识别方法及装置 | |
CN107888571B (zh) | 一种基于HTTP日志的多维度webshell入侵检测方法及检测系统 | |
CN110099059B (zh) | 一种域名识别方法、装置及存储介质 | |
CN105072089B (zh) | 一种web恶意扫描行为异常检测方法与系统 | |
CN107579956B (zh) | 一种用户行为的检测方法和装置 | |
CN112866023B (zh) | 网络检测、模型训练方法、装置、设备及存储介质 | |
CN107302547A (zh) | 一种web业务异常检测方法及装置 | |
CN108924118B (zh) | 一种撞库行为检测方法及系统 | |
US20200342095A1 (en) | Rule generaton apparatus and computer readable medium | |
CN107612911B (zh) | 基于dns流量检测受感染主机和c&c服务器的方法 | |
CN107395553A (zh) | 一种网络攻击的检测方法及装置 | |
CN110135162A (zh) | Webshell后门识别方法、装置、设备及存储介质 | |
CN107231383B (zh) | Cc攻击的检测方法及装置 | |
CN110378115A (zh) | 一种信息安全攻防平台的数据层系统 | |
CN111541687B (zh) | 一种网络攻击检测方法及装置 | |
CN109309665A (zh) | 一种访问请求处理方法及装置、一种计算设备及存储介质 | |
CN116319089B (zh) | 一种动态弱密码检测方法、装置、计算机设备及介质 | |
WO2016173327A1 (zh) | 用于检测网站攻击的方法和设备 | |
CN116846644A (zh) | 一种越权访问的检测方法及装置 | |
CN115643044A (zh) | 数据处理方法、装置、服务器及存储介质 | |
CN114640492B (zh) | 一种url检测方法、系统、设备及计算机可读存储介质 | |
CN115827379A (zh) | 异常进程检测方法、装置、设备和介质 | |
CN113923039A (zh) | 攻击设备识别方法、装置、电子设备及可读存储介质 | |
CN114531307B (zh) | 主动防御网关的api模型构建与防御方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |