CN110545292B - 一种异常流量监测的方法及装置 - Google Patents
一种异常流量监测的方法及装置 Download PDFInfo
- Publication number
- CN110545292B CN110545292B CN201910935734.1A CN201910935734A CN110545292B CN 110545292 B CN110545292 B CN 110545292B CN 201910935734 A CN201910935734 A CN 201910935734A CN 110545292 B CN110545292 B CN 110545292B
- Authority
- CN
- China
- Prior art keywords
- log
- target
- logs
- total
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/10—Active monitoring, e.g. heartbeat, ping or trace-route
- H04L43/106—Active monitoring, e.g. heartbeat, ping or trace-route using time related information in packets, e.g. by adding timestamps
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/16—Threshold monitoring
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
- H04L63/1425—Traffic logging, e.g. anomaly detection
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer Security & Cryptography (AREA)
- Computer Hardware Design (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Cardiology (AREA)
- General Health & Medical Sciences (AREA)
- Debugging And Monitoring (AREA)
Abstract
本申请提供了一种异常流量监测的方法及装置,其中,该方法包括:其可以获取待检测推送消息的总点击日志以及总曝光日志,并基于所述总点击日志和所述总曝光日志,确定多台目标设备;针对每一台目标设备,从所述总点击日志及所述总曝光日志中,确定该目标设备的目标日志;任一所述目标日志为点击日志或曝光日志中的一种;从该目标设备的目标日志,确定至少一组日志组;每个日志组包括多条具有关联关系的目标日志;若该目标设备的任一目标日志被确认为异常流量日志,则基于所述日志组,将与该任一目标日志具有关联关系的其他目标日志也确定为异常流量日志。本申请提供的异常流量监测方法,提高了异常流量监测的精度。
Description
技术领域
本申请涉及通信技术领域,具体而言,涉及一种异常流量监测的方法及装置。
背景技术
随着网络信息技术的不断发展,网络推送消息充斥着人们的生活,也吸引了众多的投放方在网络当中投放推送消息。但是,目前互联网技术存在的一些漏洞会带来大量的异常流量。例如消息推送后,某些推送平台会基于推送消息的点击量或曝光量对投放方进行收费;为了非法盈利,可能会存在大量的异常点击或曝光行为。
申请人在研究中发现,当前针对推送消息的异常流量检测方法存在检测精度低的问题。
发明内容
有鉴于此,本申请的目的在于提供一种异常流量监测的方法及装置,以提高当前针对推送消息的异常流量检测方法的检测精度。
第一方面,本申请实施例提供了一种异常流量监测的方法,包括:
获取待检测推送消息的总点击日志以及总曝光日志,并基于所述总点击日志和所述总曝光日志,确定多台目标设备;
针对每一台目标设备,从所述总点击日志及所述总曝光日志中,确定该目标设备的目标日志;任一所述目标日志为点击日志或曝光日志中的一种;
从该目标设备的目标日志,确定至少一组日志组;每个日志组包括多条具有关联关系的目标日志;
若该目标设备的任一目标日志被确认为异常流量日志,则基于所述日志组,将与该任一目标日志具有关联关系的其他目标日志也确定为异常流量日志。
一种可选实施方式中,所述获取待检测推送消息的总点击日志以及总曝光日志,包括:
获取预设历史时段内,所述待检测推送消息在多台设备上进行曝光的总曝光日志,以及在该预设历史时段内,各台所述设备对所述待检测推送消息发生了点击操作的总点击日志。
一种可选实施方式中,所述基于所述总点击日志和所述总曝光日志,确定多台目标设备,包括:
从所述总点击日志中所包括的各条点击日志中,读取包括了设备标识信息的第一目标字段;
以及从所述总曝光日志中所包括的各条曝光日志中,读取包括了设备标识信息的第二目标字段;
基于所述第一目标字段及所述第二目标字段,确定多台所述目标设备。
一种可选实施方式中,从该目标设备的目标日志,确定至少一组日志组,包括:
针对该目标设备,按照该目标设备的各条目标日志对应的时间戳,对各条所述目标日志进行排序;
针对排序结果中,每相邻的两条目标日志,检测该相邻的两条目标日志的时间戳之间的差值是否小于预设的时间差阈值,若是,则建立该相邻的两条目标日志之间的关联关系;
基于所述关联关系,从该目标设备的目标日志中,确定至少一组日志组;其中,任一日志组中的目标日志,与其他属于同一日志组中的至少一条目标日志之间具有关联关系。
一种可选实施方式中,还包括对所述总点击日志与所述总曝光日志中的异常流量日志进行过滤。
第二方面,本申请实施例还提供一种异常流量监测的装置,包括:
获取模块,用于获取待检测推送消息的总点击日志以及总曝光日志,并基于所述总点击日志和所述总曝光日志,确定多台目标设备;
确定模块,用于针对每一台目标设备,从所述总点击日志及所述总曝光日志中,确定该目标设备的目标日志;任一所述目标日志为点击日志或曝光日志中的一种;
所述确定模块,还用于从该目标设备的目标日志,确定至少一组日志组;每个日志组包括多条具有关联关系的目标日志;
所述确定模块,还用于若该目标设备的任一目标日志被确认为异常流量日志,则基于所述日志组,将与该任一目标日志具有关联关系的其他目标日志也确定为异常流量日志。
一种可选实施方式中,所述获取模块,用于获取待检测推送消息的总点击日志以及总曝光日志,具体用于:
获取预设历史时段内,所述待检测推送消息在多台设备上进行曝光的总曝光日志,以及在该预设历史时段内,各台所述设备对所述待检测推送消息发生了点击操作的总点击日志。
一种可选实施方式中,所述确定模块,在基于所述总点击日志和所述总曝光日志时,确定多台目标设备时,包括:
从所述总点击日志中所包括的各条点击日志中,读取包括了设备标识信息的第一目标字段;
从所述总曝光日志中所包括的各条曝光日志中,读取包括了设备标识信息的第二目标字段;
基于所述第一目标字段及所述第二目标字段,确定多台所述目标设备。
一种可选实施方式中,所述确定模块,在从该目标设备的目标日志,确定至少一组日志组时,具体用于:
针对该目标设备,按照该目标设备的各条目标日志对应的时间戳,对各条所述目标日志进行排序;
针对排序结果中,每相邻的两条目标日志,检测该相邻的两条目标日志的时间戳之间的差值是否小于预设的时间差阈值,若是,则建立该相邻的两条目标日志之间的关联关系;
基于所述关联关系,从该目标设备的目标日志中,确定至少一组日志组;其中,任一日志组中的目标日志,与其他属于同一日志组中的至少一条目标日志之间具有关联关系。
一种可选实施方式中,还包括:过滤模块,用于对所述总点击日志与所述总曝光日志中的异常流量日志进行过滤。
第三方面,本申请实施例还提供一种电子设备,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行上述第一方面,或第一方面中任一种可能的实施方式中的步骤。
第四方面,本申请实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述第一方面,或第一方面中任一种可能的实施方式中的步骤。
本申请实施例提供的一种异常流量监测的方法、装置及系统,采用获取待检测推送消息的总点击日志以及总曝光日志,并基于所述总点击日志和所述总曝光日志,确定多台目标设备;针对每一台目标设备,从获取的所述总点击日志及所述总曝光日志中,确定该目标设备的目标日志;从该目标设备的目标日志,确定至少一组日志组;其中,每个日志组包括多条具有关联关系的目标日志;若该目标设备的任一目标日志被确认为异常流量日志,则基于所述日志组,将与该任一目标日志具有关联关系的其他目标日志也确定为异常流量日志。
本申请中,在对异常流量进行监测的过程中,若任一目标日志,可以是点击日志或曝光日志,被判定为异常流量日志,与该目标日志所关联的其他目标日志也被判定为异常流量日志,由此,在判定异常流量日志时,增加了对目标日志之间关联性的考虑,因此提高了针对推送消息的异常流量的检测精度。
为使本申请的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1示出了本申请实施例所提供的异常流量监测方法的流程图;
图2示出了本申请实施例所提供异常流量监测方法的异常流量日志关联方法的流程图;
图3示出了本申请实施例所提供的一种异常流量监测装置的结构示意图;
图4示出了本申请实施例所提供的一种电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围,而是仅仅表示本申请的选定实施例。基于本申请的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
经研究发现,现有的异常流量监测方法,一般为,对于异常点击或曝光行为的监测,分别对点击流量和异常进行异常流量计算和过滤,因此可能会造成一方被判定为异常流量而过滤,而另一方未被判定为异常流量的情况发生,不符合实际用户的操作情况,使得投放方无法准确地了解真实的投放效果数据。
因此,现有技术中,当前针对推送消息的异常流量检测方法,存在检测精度低的问题。
基于上述研究,本申请提供了异常流量监测的方法及装置,在对异常流量进行监测的过程中,若任一目标日志,可以是点击日志或曝光日志,被判定为异常流量日志,与该目标日志所关联的其他目标日志也被判定为异常流量日志,由此,在判定异常流量日志时,增加了对目标日志之间关联性的考虑,因此提高了针对推送消息的异常流量的检测精度。
针对以上方案所存在的缺陷,均是发明人在经过实践并仔细研究后得出的结果,因此,上述问题的发现过程以及下文中本申请针对上述问题所提出的解决方案,都应该是发明人在本申请过程中对本申请做出的贡献。
下面将结合本申请中附图,对本申请中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本申请的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围,而是仅仅表示本申请的选定实施例。基于本申请的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
为便于对本实施例进行理解,首先对本申请实施例所公开的一种异常流量监测的方法进行详细介绍,本申请实施例所提供的异常流量监测的方法的执行主体一般为目标监测设备。特殊地,其执行主体还可以为其他计算机设备。
实施例一
参见图1所示,为本申请实施例一提供的异常流量监测方法的流程图,所述方法包括步骤S101~S104,其中:
S101:获取待检测推送消息的总点击日志以及总曝光日志,并基于总点击日志和总曝光日志,确定多台目标设备。
S102:针对每一台目标设备,从总点击日志及总曝光日志中,确定该目标设备的目标日志;任一目标日志为点击日志或曝光日志中的一种。
S103:从该目标设备的目标日志,确定至少一组日志组;每个日志组包括多条具有关联关系的目标日志。
S104:若该目标设备的任一目标日志被确认为异常流量日志,则基于日志组,将与该任一目标日志具有关联关系的其他目标日志也确定为异常流量日志。
下面分别对上述S101~S104加以详细说明。
一:在上述S101中所述的推送消息,包括服务器发送给用户终端的推送信息,其中,推送消息可以包括网络广告等,广告的推送为广告主带来了收益,大多数的网络平台会根据广告的点击与曝光数量向广告主进行收费,由此为了非法盈利,可能会存在大量的异常点击或曝光行为,因此准确地统计点击与曝光数对于广告主来说就显得尤为重要。
示例性的,点击历史记录了当前点击记录的用户信息、时间、地址、检索词、点击记录的序号、点击记录的ID,其中,记录的时间包括检索发生时的小时、当天是周几、当天的日期信息;点击日志中记录了该产品是在搜索结果中点击的还是推荐结果中点击的;地址信息包括了省市区县信息。
另外,曝光日志与点击日志的作用相似,在此将不再展开介绍。
一种可能的实施方式中,在获取待检测推送消息的总点击日志以及总曝光日志时,可以在监测端创建活动,保证能够同时监测到推送消息的总点击日志以及总曝光日志。
在另外一个实施方式中,所述获取待检测推送消息的总点击日志以及总曝光日志,包括:
获取预设历史时段内,待检测推送消息在多台设备上进行曝光的总曝光日志,以及在该预设历史时段内,各台设备对待检测推送消息发生了点击操作的总点击日志。
其中,在基于总点击日志和总曝光日志确定多台目标设备时,可以先从总点击日志中包括的各条点击日志中,读取包括设备标识信息的第一目标字段,并从总曝光日志中所包括的各条曝光日志中,读取包括设备标识信息的第二目标字段,最后,基于第一目标字段和第二目标字段,确定多台目标设备。
需要说明的是,第一目标字段可以是点击日志中表征时间信息的目标字段或是日志的识别信息,第二目标字段是可以是曝光日志中表征时间信息的目标字段或是日志的识别信息。
其中,设备标识信息包括一些依据设备自身的参数信息,例如媒体访问控制(Media Access Control,MAC)地址、国际移动设备识别码(International MobileEquipment Identity,IMEI)、安卓身份标识(Android Identity Document,Android ID)、广告标识符(Identifier For Advertising,IDFA)、辅助开发的软件开发工具包(SoftwareDevelopment Kit,SDK)等。
二:在上述S102中,针对每一台目标设备,从总点击日志及总曝光日志中,确定该目标设备的目标日志;点击日志或曝光日志中的一种都可作为目标日志。
在一种可能的实施方式中,为了准确地统计点击与曝光数,需要对异常点击或曝光行为进行过滤,也就是,对于触犯预先设置的异常点击日志规则的点击日志、或者对触犯预先设置的异常曝光日志规则的曝光日志进行过滤处理。
例如,对于触犯预先设置的异常点击日志规则的点击日志、或者对触犯预先设置的异常曝光日志规则的曝光日志可以直接作删除处理,或是对于触犯预先设置的异常点击日志规则的点击日志、或者对触犯预先设置的异常曝光日志规则的曝光日志存储于特定位置,不作为流量统计信息。
三:在上述S103中,从该目标设备的目标日志,确定至少一组日志组;每个日志组包括多条具有关联关系的目标日志。
四:在上述S104中,若该目标设备的任一目标日志被确认为异常流量日志,则基于所述日志组,将与该任一目标日志具有关联关系的其他目标日志也确定为异常流量日志。
示例性的,若一个日志组包括多条具有关联关系的目标日志中,其中任一目标日志被判定为目标日志,则所关联关系的其他目标日志也确定为异常流量日志。
示例性的,若点击日志被判定为异常流量日志,则所关联的曝光日志也被判定为异常流量日志。
示例性的,若曝光日志被判定为异常流量日志,则所关联的点击日志也被判定为异常流量日志。
在一种可能的应用场景中,基于上述方法确定异常流量日志之后,可以将被判定为异常流量日志的点击日志与曝光日志中进行过滤。
参见图2所示,为本申请实施例一提供的异常流量监测方法的异常流量日志关联方法的流程图,所述方法包括步骤S201~S203,其中:
S201:针对该目标设备,按照该目标设备的各条目标日志对应的时间戳,对各条目标日志进行排序。
示例性的,基于同一设备,将总点击日志与所述总曝光日志中出发时间戳的对应信息提取出来,可以是字段等信息,再依据时间戳对应的信息,按照倒序的方式对各条所述目标日志进行排序。
示例性的,通常情况下,推送信息先是曝光在用户界面,之后吸引用户去点击该推送信息,由此基于同一推送信息,曝光日志应先于点击日志,利用倒序的方式对各条所述目标日志进行排序,可以方便获取同一条推送信息所对应的点击日志与曝光日志。
S202:针对排序结果中,每相邻的两条目标日志,检测该相邻的两条目标日志的时间戳之间的差值是否小于预设的时间差阈值,若是,则建立该相邻的两条目标日志之间的关联关系。
其中,基于同一设备排序之后的各条所述目标日志,检测该相邻的两条目标日志的时间戳之间的差值是否小于预设的时间差阈值,该时间差阈值可设置为1秒,当该相邻的两条目标日志的时间戳之间的差值小于等于1秒时,则可以判定该相邻的两条目标日志为关联日志。若该相邻的两条目标日志中的任一目标日志触犯异常点击日志或曝光日志规则,则可以将该相邻的两条目标日志一并判定为异常流量日志,对该相邻的两条目标日志一并进行过滤操作。
示例性的,若任一目标日志对应多条关联日志,且多条目标日志中的任一目标日志触犯异常点击日志或曝光日志规则,则可以将该多条目标日志一并判定为异常流量日志,对该多条日志一并进行过滤操作。
S203:基于所述关联关系,从该目标设备的目标日志中,确定至少一组日志组;其中,任一日志组中的目标日志,与其他属于同一日志组中的至少一条目标日志之间具有关联关系。
其中,所述关联关系可以是,基于同一设备任一日志组中,曝光日志与点击日志之间时间戳的差值小于预设的时间差阈值。
本申请实施例提供的异常流量监测的装置,在对异常流量进行监测的过程中,若任一目标日志,可以是点击日志或曝光日志,被判定为异常流量日志,与该目标日志所关联的其他目标日志也被判定为异常流量日志,由此,在判定异常流量日志时,增加了对目标日志之间关联性的考虑,因此提高了针对推送消息的异常流量的检测精度。
实施例二
参照图3所示,为本申请实施例二提供的一种异常流量监测的装置示意图,所述装置包括:获取模块31、确定模块32以及过滤模块33:
获取模块31,用于获取待检测推送消息的总点击日志以及总曝光日志,并基于所述总点击日志和所述总曝光日志,确定多台目标设备;
确定模块32,用于针对每一台目标设备,从所述总点击日志及所述总曝光日志中,确定该目标设备的目标日志;任一所述目标日志为点击日志或曝光日志中的一种;
所述确定模块32,还用于从该目标设备的目标日志,确定至少一组日志组;每个日志组包括多条具有关联关系的目标日志;
所述确定模块32,还用于若该目标设备的任一目标日志被确认为异常流量日志,则基于所述日志组,将与该任一目标日志具有关联关系的其他目标日志也确定为异常流量日志。
本申请实施例提供了异常流量监测的装置,其可以获取待检测推送消息的总点击日志以及总曝光日志,并基于所述总点击日志和所述总曝光日志,确定多台目标设备;针对每一台目标设备,从所述总点击日志及所述总曝光日志中,确定该目标设备的目标日志;任一所述目标日志为点击日志或曝光日志中的一种;从该目标设备的目标日志,确定至少一组日志组;每个日志组包括多条具有关联关系的目标日志;若该目标设备的任一目标日志被确认为异常流量日志,则基于所述日志组,将与该任一目标日志具有关联关系的其他目标日志也确定为异常流量日志。针对推送消息的异常流量检测方法,具有更高的检测精度。
一种可能的实施方式中,所述获取模块31,在获取待检测推送消息的总点击日志以及总曝光日志时,具体用于:
获取预设历史时段内,所述待检测推送消息在多台设备上进行曝光的总曝光日志,以及在该预设历史时段内,各台所述设备对所述待检测推送消息发生了点击操作的总点击日志。
一种可能的实施方式中,所述确定模块32,用于在所述基于所述总点击日志和所述总曝光日志,确定多台目标设备时,具体用于:
从所述总点击日志中所包括的各条点击日志中,读取包括了设备标识信息的第一目标字段;
从所述总曝光日志中所包括的各条曝光日志中,读取包括了设备标识信息的第二目标字段;
基于所述第一目标字段及所述第二目标字段,确定多台所述目标设备。一种可能的实施方式中,所述确定模块32,在从该目标设备的目标日志,确定至少一组日志组时,具体用于:
针对该目标设备,按照该目标设备的各条目标日志对应的时间戳,对各条所述目标日志进行排序;
针对排序结果中,每相邻的两条目标日志,检测该相邻的两条目标日志的时间戳之间的差值是否小于预设的时间差阈值,若是,则建立该相邻的两条目标日志之间的关联关系;
基于所述关联关系,从该目标设备的目标日志中,确定至少一组日志组;其中,任一日志组中的目标日志,与其他属于同一日志组中的至少一条目标日志之间具有关联关系。
一种可能的实施方式中,过滤模块33,用于对所述总点击日志与所述总曝光日志中的异常流量日志进行过滤。
本申请实施例提供的异常流量监测的装置,在对异常流量进行监测的过程中,若任一目标日志,可以是点击日志或曝光日志,被判定为异常流量日志,与该目标日志所关联的其他目标日志也被判定为异常流量日志,由此,在判定异常流量日志时,增加了对目标日志之间关联性的考虑,因此提高了针对推送消息的异常流量的检测精度。
实施例三
本申请实施例还提供了一种计算机设备400,如图4所示,为本申请实施例提供的计算机设备400结构示意图,包括:
处理器41、存储器42、和总线43;存储器42用于存储执行指令,包括内存421和外部存储器422;这里的内存421也称内存储器,用于暂时存放处理器41中的运算数据,以及与硬盘等外部存储器422交换的数据,处理器41通过内存421与外部存储器422进行数据交换,当所述计算机设备400运行时,所述处理器41与所述存储器42之间通过总线43通信,使得所述处理器41在用户态执行以下指令:
获取待检测推送消息的总点击日志以及总曝光日志,并基于所述总点击日志和所述总曝光日志,确定多台目标设备;
针对每一台目标设备,从所述总点击日志及所述总曝光日志中,确定该目标设备的目标日志;任一所述目标日志为点击日志或曝光日志中的一种;
从该目标设备的目标日志,确定至少一组日志组;每个日志组包括多条具有关联关系的目标日志;
若该目标设备的任一目标日志被确认为异常流量日志,则基于所述日志组,将与该任一目标日志具有关联关系的其他目标日志也确定为异常流量日志。
一种可能的实施方式中,处理器41执行的指令中,所述获取待检测推送消息的总点击日志以及总曝光日志,包括:
获取预设历史时段内,所述待检测推送消息在多台设备上进行曝光的总曝光日志,以及在该预设历史时段内,各台所述设备对所述待检测推送消息发生了点击操作的总点击日志。
一种可能的实施方式中,处理器41执行的指令中,所述基于所述总点击日志和所述总曝光日志,确定多台目标设备,包括:
从所述总点击日志中所包括的各条点击日志中,读取包括了设备标识信息的第一目标字段;
以及从所述总曝光日志中所包括的各条曝光日志中,读取包括了设备标识信息的第二目标字段;
基于所述第一目标字段及所述第二目标字段,确定多台所述目标设备。
一种可能的实施方式中,处理器41执行的指令中,从该目标设备的目标日志,确定至少一组日志组,包括:
针对该目标设备,按照该目标设备的各条目标日志对应的时间戳,对各条所述目标日志进行排序;
针对排序结果中,每相邻的两条目标日志,检测该相邻的两条目标日志的时间戳之间的差值是否小于预设的时间差阈值,若是,则建立该相邻的两条目标日志之间的关联关系;
基于所述关联关系,从该目标设备的目标日志中,确定至少一组日志组;其中,任一日志组中的目标日志,与其他属于同一日志组中的至少一条目标日志之间具有关联关系。
一种可能的实施方式中,处理器41执行的指令中,还包括:对所述总点击日志与所述总曝光日志中的异常流量日志进行过滤。
本申请实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述方法实施例中所述的异常流量监测的方法的步骤。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-OnlyMemory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上所述实施例,仅为本申请的具体实施方式,用以说明本申请的技术方案,而非对其限制,本申请的保护范围并不局限于此,尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应所述以权利要求的保护范围为准。
Claims (10)
1.一种异常流量监测的方法,其特征在于,包括:
获取待检测推送消息的总点击日志以及总曝光日志,并基于所述总点击日志和所述总曝光日志,确定多台目标设备;
针对每一台目标设备,从所述总点击日志及所述总曝光日志中,确定该目标设备的目标日志;任一所述目标日志为点击日志或曝光日志中的一种;
从该目标设备的目标日志,确定至少一组日志组;每个日志组包括多条具有关联关系的目标日志;
若该目标设备的任一目标日志被确认为异常流量日志,则基于所述日志组,将与该任一目标日志具有关联关系的其他目标日志也确定为异常流量日志;
所述从该目标设备的目标日志,确定至少一组日志组,包括:
针对该目标设备,按照该目标设备的各条目标日志对应的时间戳,对各条所述目标日志进行排序;
针对排序结果中,每相邻的两条目标日志,检测该相邻的两条目标日志的时间戳之间的差值是否小于预设的时间差阈值,若是,则建立该相邻的两条目标日志之间的关联关系;
基于所述关联关系,从该目标设备的目标日志中,确定至少一组日志组;其中,任一日志组中的目标日志,与其他属于同一日志组中的至少一条目标日志之间具有关联关系。
2.根据权利要求1所述的异常流量监测的方法,其特征在于,所述获取待检测推送消息的总点击日志以及总曝光日志,包括:
获取预设历史时段内,所述待检测推送消息在多台设备上进行曝光的总曝光日志,以及在该预设历史时段内,各台所述设备对所述待检测推送消息发生了点击操作的总点击日志。
3.根据权利要求1所述的异常流量监测的方法,其特征在于,所述基于所述总点击日志和所述总曝光日志,确定多台目标设备,包括:
从所述总点击日志中所包括的各条点击日志中,读取包括了设备标识信息的第一目标字段;
以及从所述总曝光日志中所包括的各条曝光日志中,读取包括了设备标识信息的第二目标字段;
基于所述第一目标字段及所述第二目标字段,确定多台所述目标设备。
4.根据权利要求1所述的异常流量监测的方法,其特征在于,还包括:对所述总点击日志与所述总曝光日志中的异常流量日志进行过滤。
5.一种异常流量监测的装置,其特征在于,包括:
获取模块,用于获取待检测推送消息的总点击日志以及总曝光日志,并基于所述总点击日志和所述总曝光日志,确定多台目标设备;
确定模块,用于针对每一台目标设备,从所述总点击日志及所述总曝光日志中,确定该目标设备的目标日志;任一所述目标日志为点击日志或曝光日志中的一种;
所述确定模块,还用于从该目标设备的目标日志,确定至少一组日志组;每个日志组包括多条具有关联关系的目标日志;
所述确定模块,还用于若该目标设备的任一目标日志被确认为异常流量日志,则基于所述日志组,将与该任一目标日志具有关联关系的其他目标日志也确定为异常流量日志;
所述确定模块,在从该目标设备的目标日志,确定至少一组日志组时,具体用于:
针对该目标设备,按照该目标设备的各条目标日志对应的时间戳,对各条所述目标日志进行排序;
针对排序结果中,每相邻的两条目标日志,检测该相邻的两条目标日志的时间戳之间的差值是否小于预设的时间差阈值,若是,则建立该相邻的两条目标日志之间的关联关系;
基于所述关联关系,从该目标设备的目标日志中,确定至少一组日志组;其中,任一日志组中的目标日志,与其他属于同一日志组中的至少一条目标日志之间具有关联关系。
6.根据权利要求5所述的异常流量监测的装置,其特征在于,所述获取模块,在获取待检测推送消息的总点击日志以及总曝光日志时,具体用于:
获取预设历史时段内,所述待检测推送消息在多台设备上进行曝光的总曝光日志,以及在该预设历史时段内,各台所述设备对所述待检测推送消息发生了点击操作的总点击日志。
7.根据权利要求5所述的异常流量监测的装置,其特征在于,所述确定模块,在基于所述总点击日志和所述总曝光日志时,确定多台目标设备时,包括:
从所述总点击日志中所包括的各条点击日志中,读取包括了设备标识信息的第一目标字段;
从所述总曝光日志中所包括的各条曝光日志中,读取包括了设备标识信息的第二目标字段;
基于所述第一目标字段及所述第二目标字段,确定多台所述目标设备。
8.根据权利要求5所述的异常流量监测的装置,其特征在于,还包括:
过滤模块,用于对所述总点击日志与所述总曝光日志中的异常流量日志进行过滤。
9.一种电子设备,其特征在于,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行如权利要求1至4任一所述的异常流量监测的方法的步骤。
10.一种计算机可读存储介质,其特征在于,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行如权利要求1至4任一所述的异常流量监测的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910935734.1A CN110545292B (zh) | 2019-09-29 | 2019-09-29 | 一种异常流量监测的方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910935734.1A CN110545292B (zh) | 2019-09-29 | 2019-09-29 | 一种异常流量监测的方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110545292A CN110545292A (zh) | 2019-12-06 |
CN110545292B true CN110545292B (zh) | 2021-07-30 |
Family
ID=68715072
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910935734.1A Active CN110545292B (zh) | 2019-09-29 | 2019-09-29 | 一种异常流量监测的方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110545292B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113538022B (zh) * | 2020-04-10 | 2024-07-16 | 北京沃东天骏信息技术有限公司 | 流量监测方法、装置、设备及存储介质 |
CN111882349B (zh) * | 2020-07-14 | 2021-09-14 | 腾讯科技(深圳)有限公司 | 一种数据处理方法、装置及存储介质 |
CN113225325B (zh) * | 2021-04-23 | 2022-09-13 | 北京明略昭辉科技有限公司 | 一种ip黑名单确定方法、装置、设备及存储介质 |
CN113641634B (zh) * | 2021-07-07 | 2022-07-26 | 荣耀终端有限公司 | 一种日志流量控制的方法以及电子设备 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107330731A (zh) * | 2017-06-30 | 2017-11-07 | 北京京东尚科信息技术有限公司 | 一种识别广告位点击异常的方法和装置 |
US10037546B1 (en) * | 2012-06-14 | 2018-07-31 | Rocket Fuel Inc. | Honeypot web page metrics |
CN108459936A (zh) * | 2017-02-20 | 2018-08-28 | 北京畅游时空软件技术有限公司 | 一种基于内容模块化的精准统计方法及装置 |
CN108629610A (zh) * | 2017-03-23 | 2018-10-09 | 腾讯科技(深圳)有限公司 | 推广信息曝光量的确定方法和装置 |
CN109146546A (zh) * | 2018-07-23 | 2019-01-04 | 广州至真信息科技有限公司 | 一种作弊行为检测的方法及装置 |
CN110020129A (zh) * | 2017-10-27 | 2019-07-16 | 腾讯科技(深圳)有限公司 | 点击率校正方法、预估方法、装置、计算设备及存储介质 |
CN110138720A (zh) * | 2019-03-21 | 2019-08-16 | 秒针信息技术有限公司 | 网络流量的异常分类检测方法、装置、存储介质和处理器 |
CN110191119A (zh) * | 2019-05-28 | 2019-08-30 | 秒针信息技术有限公司 | 一种产生异常流量的app的确定方法及装置 |
CN110213655A (zh) * | 2019-06-04 | 2019-09-06 | 秒针信息技术有限公司 | 一种浏览资源的曝光概率检测方法及曝光概率检测装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160275548A1 (en) * | 2015-03-16 | 2016-09-22 | Facebook, Inc. | Integrating advertisement impressions with user identity for search advertisements |
-
2019
- 2019-09-29 CN CN201910935734.1A patent/CN110545292B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10037546B1 (en) * | 2012-06-14 | 2018-07-31 | Rocket Fuel Inc. | Honeypot web page metrics |
CN108459936A (zh) * | 2017-02-20 | 2018-08-28 | 北京畅游时空软件技术有限公司 | 一种基于内容模块化的精准统计方法及装置 |
CN108629610A (zh) * | 2017-03-23 | 2018-10-09 | 腾讯科技(深圳)有限公司 | 推广信息曝光量的确定方法和装置 |
CN107330731A (zh) * | 2017-06-30 | 2017-11-07 | 北京京东尚科信息技术有限公司 | 一种识别广告位点击异常的方法和装置 |
CN110020129A (zh) * | 2017-10-27 | 2019-07-16 | 腾讯科技(深圳)有限公司 | 点击率校正方法、预估方法、装置、计算设备及存储介质 |
CN109146546A (zh) * | 2018-07-23 | 2019-01-04 | 广州至真信息科技有限公司 | 一种作弊行为检测的方法及装置 |
CN110138720A (zh) * | 2019-03-21 | 2019-08-16 | 秒针信息技术有限公司 | 网络流量的异常分类检测方法、装置、存储介质和处理器 |
CN110191119A (zh) * | 2019-05-28 | 2019-08-30 | 秒针信息技术有限公司 | 一种产生异常流量的app的确定方法及装置 |
CN110213655A (zh) * | 2019-06-04 | 2019-09-06 | 秒针信息技术有限公司 | 一种浏览资源的曝光概率检测方法及曝光概率检测装置 |
Non-Patent Citations (2)
Title |
---|
"Optimally Connected Deep Belief Net for Click Through Rate Prediction in Online Advertising";Rongbin Xu、Menglong Wang、Ying Xie;《IEEE Access》;IEEE;20180809;第6卷;全文 * |
"社交网站广告反作弊系统的实现和优化";刘子微;《中国优秀硕士学位论文全文数据库 信息科技辑》;20150815(第8期);2.2.5小节、4.3.1小节、4.6.1小节 * |
Also Published As
Publication number | Publication date |
---|---|
CN110545292A (zh) | 2019-12-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110545292B (zh) | 一种异常流量监测的方法及装置 | |
US10929879B2 (en) | Method and apparatus for identification of fraudulent click activity | |
CN108009844B (zh) | 确定广告作弊行为的方法、装置及云服务器 | |
CN104699710B (zh) | 用户结构判断方法和装置以及账号状态记录方法和装置 | |
CN107483381B (zh) | 关联账户的监控方法及装置 | |
CN113516529B (zh) | 异常订单确定方法、装置、存储介质及电子设备 | |
CN104866296A (zh) | 数据处理方法和装置 | |
CN107770805B (zh) | 终端的标识信息的判定方法及装置 | |
CN106301979B (zh) | 检测异常渠道的方法和系统 | |
CN112579327A (zh) | 一种故障检测方法、装置及设备 | |
CN110990244B (zh) | 目标设备标识确定方法、装置、电子设备及可读存储介质 | |
CN110188276B (zh) | 数据发送装置、方法、电子设备及计算机可读存储介质 | |
CN112507041B (zh) | 设备机型识别方法及装置、电子设备、存储介质 | |
CN110138892B (zh) | 确定设备地域信息的方法及装置 | |
CN114445088A (zh) | 一种欺诈行为的判定方法、装置、电子设备和存储介质 | |
CN107071802B (zh) | 一种手机app定位异常数据检测方法及其装置 | |
CN110740190B (zh) | 事件上报方法、电力终端及计算机可读存储介质 | |
CN105681097B (zh) | 获取终端设备更换周期的方法和装置 | |
CN109598525B (zh) | 数据处理方法和装置 | |
CN108629610B (zh) | 推广信息曝光量的确定方法和装置 | |
CN107622065B (zh) | 一种数据处理方法及服务器 | |
CN111127094B (zh) | 一种账户匹配方法、装置、电子设备和存储介质 | |
CN110830314B (zh) | 一种异常流量的确定方法及装置 | |
CN112486935B (zh) | 日志记录处理方法、装置、设备及机器可读存储介质 | |
CN112671756A (zh) | 一种过滤异常流量的方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |