[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN115297037A - 拨测方法、装置、设备及存储介质 - Google Patents

拨测方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN115297037A
CN115297037A CN202110421101.6A CN202110421101A CN115297037A CN 115297037 A CN115297037 A CN 115297037A CN 202110421101 A CN202110421101 A CN 202110421101A CN 115297037 A CN115297037 A CN 115297037A
Authority
CN
China
Prior art keywords
log
preset
target
user request
request
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110421101.6A
Other languages
English (en)
Inventor
田柳
吴传杰
程炎
林琳
操张进
朱振凯
孙悦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
China Mobile Group Anhui Co Ltd
Original Assignee
China Mobile Communications Group Co Ltd
China Mobile Group Anhui Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd, China Mobile Group Anhui Co Ltd filed Critical China Mobile Communications Group Co Ltd
Priority to CN202110421101.6A priority Critical patent/CN115297037A/zh
Publication of CN115297037A publication Critical patent/CN115297037A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/12Network monitoring probes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06Management of faults, events, alarms or notifications
    • H04L41/069Management of faults, events, alarms or notifications using logs of notifications; Post-processing of notifications

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Telephonic Communication Services (AREA)

Abstract

本发明实施例公开了一种拨测方法、装置、设备及存储介质。该拨测方法包括实时接收内容分发网络CDN用户请求日志,其中,用户请求日志包括用户请求统一资源定位器url以及请求开始时间;之后根据预设周期和请求开始时间,从用户请求日志中确定包括预设CDN分发域名的目标日志,其中,目标日志的请求开始时间在预设有效时间窗口内;最后根据预设的探针算法对目标日志中的用户请求url对应的目标资源进行拨测。本发明实施例能够实现对使用时间戳防盗链技术的CDN资源进行长期稳定的有效拨测。

Description

拨测方法、装置、设备及存储介质
技术领域
本发明涉及通信领域,尤其涉及一种拨测方法、装置、设备及存储介质。
背景技术
内容分发网络(Content Delivery Network,CDN)分发的资源多为静态资源或静态内容占比较高的资源,极易被人盗链,因此越来越多的CDN分发资源使用了防盗链技术,有效的阻止了盗链现象的发生,但是也给CDN资源的自动拨测带来难度。
在使用拨测系统对CDN分发业务进行自动拨测时,由于使用时间戳防盗链技术的统一资源定位器(Uniform Resource Locator,url)增加了时间戳的信息,时间戳的信息表征拨测使用的url的有效时长,一旦拨测使用的url超过有效期,继续使用该url请求资源就会失败,导致拨测无法正常进行。
因此目前对于自动拨测而言,很难对使用时间戳防盗链技术的CDN资源进行长期稳定的有效拨测。
发明内容
本发明实施例提供了一种拨测方法、装置、设备及存储介质,解决了对使用时间戳防盗链技术的CDN资源,无法进行长期稳定有效拨测的问题。
为了解决上述技术问题,本发明:
第一方面,提供了一种拨测方法,该方法包括:
实时接收CDN用户请求日志,其中,用户请求日志包括用户请求统一资源定位器url以及请求开始时间;
根据预设周期和请求开始时间,从用户请求日志中确定包括预设CDN分发域名的目标日志,其中,目标日志的请求开始时间在预设有效时间窗口内;
根据预设的探针算法对目标日志中的用户请求url对应的目标资源进行拨测。
在第一方面的一些实现方式中,用户请求日志还包括响应信息,其中,响应信息为用户在请求开始时间请求url对应的目标资源的响应信息;按照预设周期和请求开始时间,从用户请求日志中确定包括预设CDN分发域名的目标日志,包括:
按照预设周期、请求开始时间和响应信息,从用户请求日志中确定包括预设CDN分发域名的目标日志。
在第一方面的一些实现方式中,根据预设的探针算法对目标日志中的用户请求url对应的目标资源进行拨测,包括:
根据预设的探针算法获取目标日志中用户请求url对应的目标资源;
当在预设时间段内获取到的资源占目标资源的比例小于第二预设阈值时,标记目标日志;
根据标记后的目标日志生成告警信息。
在第一方面的一些实现方式中,预设的探针算法包括地理区域信息;根据标记后的目标日志生成告警信息,包括:
根据标记后的目标日志对应的地理区域信息以及包括的预设CDN分发域名生成告警信息。
第二方面,提供了一种拨测装置,该装置包括:
接收模块,用于实时接收CDN用户请求日志,其中,用户请求日志包括用户请求统一资源定位器url以及请求开始时间;
确定模块,用于根据预设周期和请求开始时间,从用户请求日志中确定包括预设CDN分发域名的目标日志,其中,目标日志的请求开始时间在预设有效时间窗口内;
拨测模块,用于根据预设的探针算法对目标日志中的用户请求url对应的目标资源进行拨测。
在第二方面的一些实现方式中,用户请求日志还包括响应信息,其中,响应信息为用户在请求开始时间请求url对应的目标资源的响应信息;确定模块,还用于按照预设周期、请求开始时间和响应信息,从用户请求日志中确定包括预设CDN分发域名的目标日志。
在第二方面的一些实现方式中,拨测装置还包括获取模块、标记模块和生成模块;
获取模块,用于根据预设的探针算法获取目标日志中用户请求url对应的目标资源;
标记模块,用于当在预设时间段内获取到的资源占目标资源的比例小于第二预设阈值时,标记目标日志;
生成模块,用于根据标记后的目标日志生成告警信息。
在第二方面的一些实现方式中,预设的探针算法包括地理区域信息;生成模块,还用于根据标记后的目标日志对应的地理区域信息以及包括的预设CDN分发域名生成告警信息。
第三方面,提供了一种电子设备,该设备包括:处理器以及存储有计算机程序指令的存储器;
处理器执行计算机程序指令时实现第一方面,以及第一方面的一些实现方式中的拨测方法。
第四方面,提供了一种计算机存储介质,计算机存储介质上存储有计算机程序指令,计算机程序指令被处理器执行时实现第一方面,以及第一方面的一些实现方式中的拨测方法。
本发明实施例提供了一种拨测方法、装置、设备及存储介质。该拨测方法包括实时接收CDN用户请求日志,其中,用户请求日志包括用户请求统一资源定位器url以及请求开始时间;之后根据预设周期和请求开始时间,从用户请求日志中确定包括预设CDN分发域名的目标日志,其中,目标日志的请求开始时间在预设有效时间窗口内;最后根据预设的探针算法对目标日志中的用户请求url对应的目标资源进行拨测。因为本发明实施例周期性的根据用户请求日志的请求开始时间从实时接收的用户请求日志中获取请求开始时间在有效时间窗口内的目标日志,所以该目标日志能够进行不断的更新,进而能够使用目标日志中一直在有效期内的用户请求url长期稳定的请求资源,以实现对使用时间戳防盗链技术的CDN资源进行长期稳定的有效拨测。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例中所需要使用的附图作简单地介绍,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种拨测系统的结构示意图;
图2是本发明实施例提供的一种拨测方法的流程示意图;
图3是本发明实施例提供的一种拨测装置的结构示意图;
图4是本发明实施例提供的一种计算设备的结构图。
具体实施方式
下面将详细描述本发明的各个方面的特征和示例性实施例,为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细描述。应理解,此处所描述的具体实施例仅被配置为解释本发明,并不被配置为限定本发明。对于本领域技术人员来说,本发明可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本发明的示例来提供对本发明更好的理解。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
现有对CDN业务的监控主要通过四种途径:
(1)人工监测:通过人工测试的方式,监测业务质量是否存在问题;
(2)自动拨测:通过部署软硬探针,对访问的统一资源定位器(Uniform ResourceLocator,url)进行拨测,通过拨测结果判断业务质量是否存在问题;
(3)日志监控:通过收集并分析日志中的关键字段,通过对超文本传输协议(HyperText Transfer Protocol,HTTP)状态码、用户下载速率、首字节时延等指标的统计与分析,判断业务质量是否存在问题;
(4)应用内置监控软件开发工具包(Software Development Kit,SDK)或应用程序接口(Application Programming Interface,API):通过在被监控的APP内置监控SDK(或API接口),获取用户访问质量关键指标,从而判断业务质量是否存在问题。
上述监控手段各有优缺点:其中人工监测效率低,测试覆盖范围有限,但易发现自动测试容易忽略的细节问题;自动拨测效率高,测试覆盖范围广,但是需要具备足够的测试样本,且如果测试url失效,会造成误报;日志监控通过日志里的部分字段实现对关键业务指标监控,可以全面覆盖所有业务范围,准确性高,实现分区域、分业务监控,但是需要先进的大数据分析技术来实现对日志的实时获取及分析,实时性较字段拨测略低,此外,日志监控的手段无法覆盖到用户请求未到CDN平台的场景;应用内置监控SDK(或API接口)是一种很好监控手段,但是需要源站配合,CDN厂家和第三方监控难以实现。
CDN分发的资源多为静态资源或静态内容占比较高的资源,极易被人盗链,因此越来越多的CDN分发资源使用了防盗链技术,有效的阻止了盗链现象的发生,但是也给CDN资源的自动拨测带来难度。
链是指对于网站的图片和音频视频等一部分静态资源,在未经资源提供商允许的情况下,通过技术手段使用这些静态资源,放置在自己网站的网页中,通过这种方法盗取空间和流量的行为,受益者不提供资源或提供很少的资源,而真正的服务提供商却得不到任何的收益。
CDN分发资源使用的防盗链技术通常包括网际互连协议(Internet Protocol,IP)黑白名单、引用页(Referer)、时间戳以及中心鉴权进行防盗链等方式。
(1)IP黑白名单:指直接配置请求者IP黑白名单来控制访问范围(黑名单用户禁止访问,白名单用户允许访问)。
(2)Referer防盗链:在http请求时,Referer里记录的是请求的来路,所以通过设置Referer黑白名单,可以控制哪个页面或者域名过来的请求是可以访问的。
(3)时间戳防盗链:时间戳是指一个能表示一份数据在某个特定时间之前已经存在的、完整的、可验证的数据,通常是一个字符序列,唯一地标识某一刻的时间。时间戳防盗链主要是在url请求里,通过增加时间戳的信息来对url加上时间的因素,盗链者如果不及时更新url,那么就会无法访问。
(4)中心鉴权:中心鉴权的方式等于在源站增加一层验证,这个方法会对防盗链有效,但会增加请求的时间成本,一般用于有对内容进行完全保护的,比如有些视频网站,需要会员身份才能看的内容,对于这些网站,一般都会做中心鉴权。
但是在对CDN业务进行监测,使用拨测系统对CDN分发业务进行自动拨测时,由于使用时间戳防盗链技术的url增加了时间戳的信息,而大部分使用时间戳防盗链技术的url有效期都在2-3个小时之内,一旦拨测使用的url超过有效期,继续使用该url请求资源就会失败,导致拨测无法正常进行。
因此目前对于自动拨测而言,很难对使用时间戳防盗链技术的CDN资源进行长期稳定的有效拨测。
为了解决在自动拨测的过程中,难以对使用时间戳防盗链技术的CDN资源进行长期稳定的有效拨测的问题,本发明实施例提供了一种拨测方法、装置、设备及存储介质。首先实时接收CDN用户请求日志,其中,用户请求日志包括用户请求url以及请求开始时间;之后根据预设周期和请求开始时间,从用户请求日志中确定包括预设CDN分发域名的目标日志,其中,目标日志的请求开始时间在预设有效时间窗口内;最后根据预设的探针算法对目标日志中的用户请求url对应的目标资源进行拨测。因为本发明实施例周期性的根据用户请求日志的请求开始时间从实时接收的用户请求日志中获取请求开始时间在有效时间窗口内的目标日志,所以该目标日志将能够进行不断的更新,进而能够使用目标日志中一直在有效期内的用户请求url长期稳定的请求资源,以实现对使用时间戳防盗链技术的CDN资源进行长期稳定的有效拨测。
下面结合附图对本发明实施例提供的技术方案进行描述。
图1是本发明实施例提供的一种拨测系统的结构示意图,如图1所示,拨测系统包括日志过滤模块、拨测控制模块、结果统计与告警模块、网管界面模块以及软硬探针模块。
其中,日志过滤模块,用于根据预设周期和用户请求日志的请求开始时间对实时获取的用户请求日志进行过滤,得到目标日志,其中,目标日志的请求开始时间在预设有效时间窗口内。
拨测控制模块,用于接收日志过滤模块得到目标日志,并将拨测任务下发至软硬探针模块。
软硬探针模块分布在不同的地理区域,用于在不同的地理区域,使用预设的探针算法对目标日志中的用户请求url对应的目标资源进行拨测。
结果统计与告警模块,用于接收并记录探针返回的相关质量信息记录,将信息进行汇总处理,对汇总指标有问题的输出告警至运维人员。
网管界面模块,用于配置拨测任务并下发,呈现拨测结果。
本发明实施例提供的拨测系统,通过周期性的根据用户请求日志的请求开始时间从实时获取的用户请求日志中获取请求开始时间在有效时间窗口内的目标日志,所以该目标日志将能够进行不断的更新,进而能够使用目标日志中一直在有效期内的用户请求url长期稳定的请求资源,以实现对使用时间戳防盗链技术的CDN资源进行长期稳定的有效拨测。
图2是本发明实施例提供的一种拨测方法的流程示意图,该方法基于图1中的拨测系统实现运行,该方法的执行主体可以为具有计算处理能力的终端设备。
如图2所示,拨测方法可以包括S201-S203。
S201:实时接收CDN用户请求日志,其中,用户请求日志包括用户请求url以及请求开始时间。
在该步骤中,实时接收CDN系统的CDN用户请求日志,以获取实时的CDN用户请求日志。其中,CDN用户请求日志中包括用户请求url以及请求开始时间。
上述的url为表1中序号8处所指字段名为HTTP Uri所包括信息,请求开始时间为表1中序号16处所指的字段名为请求开始时间所包括信息。
表1
Figure BDA0003027862810000081
Figure BDA0003027862810000091
Figure BDA0003027862810000101
在获取到CDN用户请求日志后,便可以针对该用户请求日志进行进一步的拨测,即执行S202和S203。
S202:根据预设周期和请求开始时间,从用户请求日志中确定包括预设CDN分发域名的目标日志,其中,目标日志的请求开始时间在预设有效时间窗口内。
在该过程中,预设CDN分发域名用户可以按照需要设置,也可以设置一个或多个,即在拨测过程中,可以对一个或多个域名进行拨测实现监测。
因为对CDN业务进行监测时,使用拨测系统对CDN分发业务进行自动拨测,由于使用时间戳防盗链技术的url增加了时间戳的信息,大部分使用时间戳防盗链技术的url有效期是在一定时间段内的,一旦拨测使用的url超过有效期,继续使用该url请求资源就会失败,导致拨测无法正常进行。因此为了能够实现长期稳定地拨测,本发明实施例中设置了有效时间窗口,即上述中的预设有效时间窗口,以按照预设周期确定包括预设CDN分发域名且请求开始时间在预设有效时间窗口内的用户请求日志为目标日志,以使确定的目标日志为url在有效期内待拨测的日志,进而实现日志过滤,其中,为了确保获取的目标日志中的url始终在有效期内,该预设周期需要小于url有效期。
可选地,在一个具体示例中,有效期可以为2-3个小时之内。
在一个实施例中,预设有效时间窗口的大小与需要拨测的数据量的多少有关,需要拨测的数据量的越多,上述预设有效时间窗口的大小越大,反之越小,正常情况下,预设有效时间窗口的大小在5-10s内,通常建议在1分钟以内。
本发明实施例在对CDN用户请求日志过滤确定目标日志时,针对被监控的CDN分发域名,通过设置过滤规则,周期性地获取最新且有效的用户请求url,以进行后续的拨测,使得拨测更加准确有效。
S203:根据预设的探针算法对目标日志中的用户请求url对应的目标资源进行拨测。
其中,预设的探针算法中可以包括域名、url、测试时长、测试时间间隔。拨测的具体过程可以为根据预设的探针算法中包括的信息来获取目标日志中用户请求url对应的目标资源,之后根据在预设时间段内获取的资源占目标资源的比例小于第二预设阈值的目标日志来生成告警信息。
具体地,在一个实施例中,在生成告警信息的过程中,对于网页/下载类的请求,访问成功是指同时满足元素加载门限、页面打开时间,记做网站打开成功,也就是说在预设时间段内获取的资源占目标资源的比例大于或等于第二预设阈值,且预设时间段小于或等于页面打开时间,则记做网站打开成功/下载成功,反之则记做网站打开失败/下载失败(成功率为0),并根据失败信息标记目标日志,其中元素是指超文本标记语言(HyperText MarkupLanguage,Html)内所有JavaScript(JS)、层叠样式表(Cascading Style Sheets,CSS)、图片,页面打开时间是指预设的打开页面后所有元素加载完成所需时间,第二预设阈值是指元素加载门限占用户请求url对应的目标资源的比例。对于视频类请求,播放成功是指缓冲时间内有预设数据量,即预设时间段内获取的资源占目标资源的比例大于或等于第二预设阈值,则记为成功,反之记为失败(成功率为0),并根据失败信息标记目标日志,其中,预设时间段是指上述的缓冲时间,第二预设阈值是指预设数据量占用户请求url对应的目标资源的比例。
在根据失败信息标记目标日志后,便可以根据标记后的目标日志生成告警信息。
在一个周期的获取结束后,可以按照周期循环进行新的一轮url获取、样本表及自动拨测部署,并可以持续进行这一循环,以能够使用一直在有效期内的用户请求url长期稳定的请求资源,实现对使用时间戳防盗链技术的CDN资源进行长期稳定的有效拨测。克服了因为url超出防盗链时限而导致的无法拨测、拨测结果不准确等问题。而且本实施例全程自动化进行,自动拨测url对应的资源,无需人工干预,省时省力。
本发明实施例提供了一种拨测方法,首先实时接收CDN用户请求日志,其中,用户请求日志包括用户请求统一资源定位器url以及请求开始时间;之后根据预设周期和请求开始时间,从用户请求日志中确定包括预设CDN分发域名的目标日志,其中,目标日志的请求开始时间在预设有效时间窗口内;最后根据预设的探针算法对目标日志中的用户请求url对应的目标资源进行拨测。因为本发明实施例周期性的根据用户请求日志的请求开始时间从实时接收的用户请求日志中获取请求开始时间在有效时间窗口内的目标日志,所以该目标日志将能够进行不断的更新,进而能够使用目标日志中一直在有效期内的用户请求url长期稳定的请求资源,以实现对使用时间戳防盗链技术的CDN资源进行长期稳定的有效拨测。
在一个实施例中,为了使用户请求日志能够反应用户请求的服务器的应答状态,用户请求日志中还可以包括响应信息,其中,所述响应信息为用户在请求开始时间请求url对应的目标资源时服务器产生的响应信息。其中,该响应信息为表1中序号12处所指的字段名为HTTP响应状态码(HTTP Status-code)所包括信息。因此,在确定目标日志的过程中,还可以根据响应信息来确定,以过滤失效的url。具体可以按照预设周期、请求开始时间和响应信息,从用户请求日志中确定包括预设CDN分发域名的目标日志。
响应信息具体为表1中的HTTP Status-code字段名包括的信息,如果出现为403的HTTP响应状态码,则认为该请求存在url失效的风险,将此用户请求中的url排除出拨测样本内容外,丢弃该条日志。如果HTTP响应状态码为指示有正常响应的状态码,则确定包括预设CDN分发域名,响应信息为正常响应的信息,请求开始时间在预设有效时间窗口内的用户请求日志为目标日志。从而实现日志的过滤。
在一个实施例中,还可以根据S202中确定的目标日志生成拨测样本表。具体可以提取目标日志中关键字段,例如,提取目标日志中HTTP Host、请求开始时间和HTTP Uri的字段,并用“|”分割开,作为一条拨测样本。对多条目标日志进行上述提取,来获取多条拨测样本。
需要说明的是,在一个实施例中,针对同一域名存在多个拨测样本的情况,可以根据请求开始时间,在预设有效时间窗口内,按时间由近及远排序,并根据所需样本数量,选取时间最近的拨测样本,来生成拨测样本表。
在一个实施例中,拨测样本表的命名可以以预设有效时间窗口的开始和结束的时间戳来命名,以区分不同预设有效时间窗口生成的拨测样本表,时间的格式、所用时区均与CDN系统所用保持一致。
因此,可以针对根据目标日志确定的拨测样本表进行拨测,该过程具体可以为:根据预设的探针算法获取拨测样本表中用户请求url对应的目标资源;当在预设时间段内获取到的资源占目标资源的比例小于第二预设阈值时,标记目标日志;根据标记后的目标日志生成告警信息。
在一个实施例中,在进行拨测的过程中,预设的探针算法中还可以包括测试探针分布的信息,以在生成告警信息时,对不同地理区域的服务器产生的目标日志进行监测。具体拨测过程可以为根据标记后的目标日志对应的地理区域信息以及包括的预设CDN分发域名来确定告警信息,实现监控不同地理区域的业务,其中,目标日志对应的地理区域信息即为使用的预设的探针算法中测试探针分布的信息。
在确定告警信息的具体过程中,当多个域名所有探针拨测结果出现非偶发性成功率为0,则为大面积故障,输出告警;
当多个域名在个别地理区域拨测结果出现非偶发性成功率为0,则为区域性故障,输出告警;
当单个域名在多个探针上出现拨测结果非偶发性成功率为0,则为单一域名业务异常,输出告警;
当某一时刻或某一时间段多个探针拨测结果成功率为0,则考虑为网络波动或CDN调度中心/内容中心设备异常后恢复,输出告警;
当个别探针拨测结果偶发性、一次性或一直成功率为0,则为探针本身问题,需检查探针本身有无异常,提示检查探针;
当多个探针或多有探针上的个别拨测样本成功率部分或全部为0,则为拨测样本问题,提示替换url;
当部分探针上出现偶发性成功率为0,则为偶发性拨测问题,可以忽略。
由此可以看出,本发明实施例针对拨测异常的情况,通过一定的规则判断,使得告警输出更加准确,从而避免误告警或不告警的情况。
此外,为了使运维人员能够及时进行相应动作,在一个实施例中,针对上述异常结果并且需要输出告警的情况,应输出告警通知运维人员。
与图2中的拨测方法相对应,本发明实施例还提供了一种拨测装置。
如图3所示,该装置可以包括:
接收模块501,用于实时接收CDN用户请求日志,其中,用户请求日志包括用户请求统一资源定位器url以及请求开始时间;
确定模块502,用于根据预设周期和请求开始时间,从用户请求日志中确定包括预设CDN分发域名的目标日志,其中,目标日志的请求开始时间在预设有效时间窗口内;
拨测模块503,用于根据预设的探针算法对目标日志中的用户请求url对应的目标资源进行拨测。
在一个实施例中,用户请求日志还包括响应信息,其中,响应信息为用户在请求开始时间请求url对应的目标资源的响应信息;确定模块502,还用于按照预设周期、请求开始时间和响应信息,从用户请求日志中确定包括预设CDN分发域名的目标日志。
在一个实施例中,拨测装置还包括获取模块、标记模块以及生成模块(图中未示出)。
获取模块,用于根据预设的探针算法获取目标日志中用户请求url对应的目标资源;标记模块,用于当在预设时间段内获取到的资源占目标资源的比例小于第二预设阈值时,标记目标日志;生成模块,用于根据标记后的目标日志生成告警信息。
在一个实施例中,预设的探针算法包括地理区域信息;生成模块,还用于根据标记后的目标日志对应的地理区域信息以及包括的预设CDN分发域名生成告警信息。
本发明实施例提供了一种拨测装置,首先实时接收CDN用户请求日志,其中,用户请求日志包括用户请求统一资源定位器url以及请求开始时间;之后根据预设周期和请求开始时间,从用户请求日志中确定包括预设CDN分发域名的目标日志,其中,目标日志的请求开始时间在预设有效时间窗口内;最后根据预设的探针算法对目标日志中的用户请求url对应的目标资源进行拨测。因为本发明实施例周期性的根据用户请求日志的请求开始时间从实时接收的用户请求日志中获取请求开始时间在有效时间窗口内的目标日志,所以该目标日志将能够进行不断的更新,进而能够使用目标日志中一直在有效期内的用户请求url长期稳定的请求资源,以实现对使用时间戳防盗链技术的CDN资源进行长期稳定的有效拨测。
图4是本发明实施例提供的一种计算设备的硬件架构的结构图。如图4所示,计算设备600包括输入接口601、中央处理器602、存储器603以及输出接口604。其中,输入接口601、中央处理器602、存储器603、以及输出接口604通过总线610相互连接。
具体地,输入接口601实时接收来自外部的CDN用户请求日志,其中,用户请求日志包括用户请求统一资源定位器url以及请求开始时间,并将该输入信息传送到中央处理器602;中央处理器602基于存储器603中存储的计算机可执行指令根据预设周期和请求开始时间,从用户请求日志中确定包括预设CDN分发域名的目标日志,其中,目标日志的请求开始时间在预设有效时间窗口内;之后根据预设的探针算法对目标日志中的用户请求url对应的目标资源进行拨测,并将拨测结果临时或者永久地存储在存储器603中,然后通过输出接口604拨测结果传送到计算设备600的外部供用户使用。
也就是说,图4所示的计算设备也可以被实现为拨测设备,该拨测设备可以包括:处理器以及存储有计算机可执行指令的存储器;该处理器在执行计算机可执行指令时可以实现本发明实施例提供的拨测方法。
本发明实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序指令;该计算机程序指令被处理器执行时实现本发明实施例提供的拨测方法。
需要明确的是,本发明并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见,这里省略了对已知方法的详细描述。在上述实施例中,描述和示出了若干具体的步骤作为示例。但是,本发明的方法过程并不限于所描述和示出的具体步骤,本领域的技术人员可以在领会本发明的精神后,作出各种改变、修改和添加,或者改变步骤之间的顺序。
以上所述的结构框图中所示的功能块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时,其可以例如是电子电路、专用集成电路(Application SpecificIntegrated Circuit,ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时,本发明的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中,或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、只读存储器(Read-Only Memory,ROM)、闪存、可消除的只读存储器(ErasableRead Only Memory,EROM)、软盘、只读光盘(Compact Disc Read-Only Memory,CD-ROM)、光盘、硬盘、光纤介质、射频(Radio Frequency,RF)链路,等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。
还需要说明的是,本发明中提及的示例性实施例,基于一系列的步骤或者装置描述一些方法或系统。但是,本发明不局限于上述步骤的顺序,也就是说,可以按照实施例中提及的顺序执行步骤,也可以不同于实施例中的顺序,或者若干步骤同时执行。
上面参考根据本公开的实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各方面。应当理解,流程图和/或框图中的每个方框以及流程图和/或框图中各方框的组合可以由计算机程序指令实现。这些计算机程序指令可被提供给通用计算机、专用计算机、或其它可编程数据处理装置的处理器,以产生一种机器,使得经由计算机或其它可编程数据处理装置的处理器执行的这些指令使能对流程图和/或框图的一个或多个方框中指定的功能/动作的实现。这种处理器可以是但不限于是通用处理器、专用处理器、特殊应用处理器或者现场可编程逻辑电路。还可理解,框图和/或流程图中的每个方框以及框图和/或流程图中的方框的组合,也可以由执行指定的功能或动作的专用硬件来实现,或可由专用硬件和计算机指令的组合来实现。
以上所述,仅为本发明的具体实施方式,所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,上述描述的系统、模块和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。应理解,本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种拨测方法,其特征在于,所述方法包括:
实时接收内容分发网络CDN用户请求日志,其中,所述用户请求日志包括用户请求统一资源定位器url以及请求开始时间;
根据预设周期和所述请求开始时间,从所述用户请求日志中确定包括预设CDN分发域名的目标日志,其中,所述目标日志的请求开始时间在预设有效时间窗口内;
根据预设的探针算法对所述目标日志中的用户请求url对应的目标资源进行拨测。
2.根据权利要求1所述的方法,其特征在于,所述用户请求日志还包括响应信息,其中,所述响应信息为用户在所述请求开始时间请求url对应的目标资源的响应信息;所述根据预设周期和所述请求开始时间,从所述用户请求日志中确定包括预设CDN分发域名的目标日志,包括:
按照所述预设周期、所述请求开始时间和所述响应信息,从所述用户请求日志中确定包括预设CDN分发域名的目标日志。
3.根据权利要求1所述的方法,其特征在于,所述根据预设的探针算法对所述目标日志中的用户请求url对应的目标资源进行拨测,包括:
根据预设的探针算法获取所述目标日志中用户请求url对应的目标资源;
当在预设时间段内获取到的资源占所述目标资源的比例小于第二预设阈值时,标记所述目标日志;
根据标记后的目标日志生成告警信息。
4.根据权利要求3所述的方法,其特征在于,所述预设的探针算法包括地理区域信息;所述根据标记后的目标日志生成告警信息,包括:
根据所述标记后的目标日志对应的地理区域信息以及包括的预设CDN分发域名生成告警信息。
5.一种拨测装置,其特征在于,所述装置包括:
接收模块,用于实时接收内容分发网络CDN用户请求日志,其中,所述用户请求日志包括用户请求统一资源定位器url以及请求开始时间;
确定模块,用于根据预设周期和所述请求开始时间,从所述用户请求日志中确定包括预设CDN分发域名的目标日志,其中,所述目标日志的请求开始时间在预设有效时间窗口内;
拨测模块,用于根据预设的探针算法对所述目标日志中的用户请求url对应的目标资源进行拨测。
6.根据权利要求5所述的装置,其特征在于,所述用户请求日志还包括响应信息,其中,所述响应信息为用户在所述请求开始时间请求url对应的目标资源的响应信息;所述确定模块,还用于按照所述预设周期、所述请求开始时间和所述响应信息,从所述用户请求日志中确定包括预设CDN分发域名的目标日志。
7.根据权利要求5所述的装置,其特征在于,拨测装置还包括获取模块、标记模块和生成模块;
获取模块,用于根据预设的探针算法获取所述目标日志中用户请求url对应的目标资源;
标记模块,用于当在预设时间段内获取到的资源占所述目标资源的比例小于第二预设阈值时,标记所述目标日志;
生成模块,用于根据标记后的目标日志生成告警信息。
8.根据权利要求7所述的装置,其特征在于,所述预设的探针算法包括地理区域信息;所述生成模块,还用于根据所述标记后的目标日志对应的地理区域信息以及包括的预设CDN分发域名生成告警信息。
9.一种电子设备,其特征在于,所述设备包括:处理器以及存储有计算机程序指令的存储器;
所述处理器执行所述计算机程序指令时实现如权利要求1-4任意一项所述的拨测方法。
10.一种计算机存储介质,其特征在于,所述计算机存储介质上存储有计算机程序指令,所述计算机程序指令被处理器执行时实现如权利要求1-4任意一项所述的拨测方法。
CN202110421101.6A 2021-04-19 2021-04-19 拨测方法、装置、设备及存储介质 Pending CN115297037A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110421101.6A CN115297037A (zh) 2021-04-19 2021-04-19 拨测方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110421101.6A CN115297037A (zh) 2021-04-19 2021-04-19 拨测方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN115297037A true CN115297037A (zh) 2022-11-04

Family

ID=83819136

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110421101.6A Pending CN115297037A (zh) 2021-04-19 2021-04-19 拨测方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN115297037A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116599999A (zh) * 2023-07-18 2023-08-15 中移(苏州)软件技术有限公司 预测cdn用户的实时用量数据的方法、装置及设备

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6662230B1 (en) * 1999-10-20 2003-12-09 International Business Machines Corporation System and method for dynamically limiting robot access to server data
US20160127262A1 (en) * 2014-10-31 2016-05-05 The Nielsen Company (Us), Llc Method and apparatus to throttle media access by web crawlers
CN106453448A (zh) * 2015-08-06 2017-02-22 北京奇虎科技有限公司 用于下载目标文件的方法及装置
WO2017114152A1 (zh) * 2015-12-29 2017-07-06 华为技术有限公司 一种业务拨测方法、装置以及系统
CN108377201A (zh) * 2018-02-09 2018-08-07 腾讯科技(深圳)有限公司 网络异常感知方法、装置、设备及计算机可读存储介质
CN108958906A (zh) * 2017-05-27 2018-12-07 北京嘀嘀无限科技发展有限公司 任务处理方法、装置及设备
CN110365810A (zh) * 2019-07-23 2019-10-22 中南民族大学 基于网络爬虫的域名缓存方法、装置、设备及存储介质
CN111447150A (zh) * 2020-02-29 2020-07-24 中国平安财产保险股份有限公司 访问请求限流方法、服务器及存储介质
CN111866016A (zh) * 2020-07-29 2020-10-30 中国平安财产保险股份有限公司 日志的分析方法及系统
CN112287200A (zh) * 2020-11-20 2021-01-29 公安部第一研究所 一种面向多目标的社会公共安全风险数据获取方法
CN113568643A (zh) * 2021-08-04 2021-10-29 中国建设银行股份有限公司 一种资源获取方法、装置、电子设备及计算机可读介质

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6662230B1 (en) * 1999-10-20 2003-12-09 International Business Machines Corporation System and method for dynamically limiting robot access to server data
US20160127262A1 (en) * 2014-10-31 2016-05-05 The Nielsen Company (Us), Llc Method and apparatus to throttle media access by web crawlers
CN106453448A (zh) * 2015-08-06 2017-02-22 北京奇虎科技有限公司 用于下载目标文件的方法及装置
WO2017114152A1 (zh) * 2015-12-29 2017-07-06 华为技术有限公司 一种业务拨测方法、装置以及系统
CN108958906A (zh) * 2017-05-27 2018-12-07 北京嘀嘀无限科技发展有限公司 任务处理方法、装置及设备
CN108377201A (zh) * 2018-02-09 2018-08-07 腾讯科技(深圳)有限公司 网络异常感知方法、装置、设备及计算机可读存储介质
CN110365810A (zh) * 2019-07-23 2019-10-22 中南民族大学 基于网络爬虫的域名缓存方法、装置、设备及存储介质
CN111447150A (zh) * 2020-02-29 2020-07-24 中国平安财产保险股份有限公司 访问请求限流方法、服务器及存储介质
CN111866016A (zh) * 2020-07-29 2020-10-30 中国平安财产保险股份有限公司 日志的分析方法及系统
CN112287200A (zh) * 2020-11-20 2021-01-29 公安部第一研究所 一种面向多目标的社会公共安全风险数据获取方法
CN113568643A (zh) * 2021-08-04 2021-10-29 中国建设银行股份有限公司 一种资源获取方法、装置、电子设备及计算机可读介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116599999A (zh) * 2023-07-18 2023-08-15 中移(苏州)软件技术有限公司 预测cdn用户的实时用量数据的方法、装置及设备
CN116599999B (zh) * 2023-07-18 2023-10-10 中移(苏州)软件技术有限公司 预测cdn用户的实时用量数据的方法、装置及设备

Similar Documents

Publication Publication Date Title
CN107438079B (zh) 一种网站未知异常行为的检测方法
CN102663062B (zh) 一种处理搜索结果中无效链接的方法及装置
US8433957B2 (en) Method and system for error manipulation
EP3142020A1 (en) Resource downloading method and device
WO2017113677A1 (zh) 处理用户行为数据的方法和系统
CN108206769B (zh) 过滤网络质量告警的方法、装置、设备和介质
CN111159514B (zh) 网络爬虫的任务有效性检测方法、装置和设备及存储介质
CN111030888B (zh) 域名系统dns容量测量方法、装置、设备及介质
CN107748790B (zh) 一种线上服务系统、数据加载方法、装置及设备
CN107294919A (zh) 一种水平权限漏洞的检测方法及装置
CN109995555B (zh) 监控方法、装置、设备及介质
CN111327539A (zh) 一种业务调度的方法、装置及设备
CN111953556B (zh) 网站自动拨测方法、装置、计算机设备及可读存储介质
CN108449308B (zh) 识别恶意资源访问的方法及装置
CN112231271A (zh) 数据迁移完整性校验方法、装置、设备及计算机可读介质
CN112817867A (zh) 一种接口测试脚本生成方法、装置、计算机设备和介质
CN115297037A (zh) 拨测方法、装置、设备及存储介质
CN113810358A (zh) 访问限制方法、装置、计算机设备以及存储介质
CN110933082A (zh) 失陷主机识别方法、装置、设备及存储介质
CN108696562A (zh) 一种获取网站资源的方法及装置
CN109525586B (zh) 基于url的安全策略配置方法和装置
CN117336098B (zh) 一种网络空间数据安全性监测分析方法
CN115412265A (zh) 域名劫持的监测方法、装置、设备及计算机可读存储介质
CN109728950B (zh) 网络质量优化方法、装置、设备及计算机存储介质
CN111625700A (zh) 防抓取的方法、装置、设备及计算机存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20221104

RJ01 Rejection of invention patent application after publication