CN103856359A - 获取信息的方法和系统 - Google Patents
获取信息的方法和系统 Download PDFInfo
- Publication number
- CN103856359A CN103856359A CN201210493261.2A CN201210493261A CN103856359A CN 103856359 A CN103856359 A CN 103856359A CN 201210493261 A CN201210493261 A CN 201210493261A CN 103856359 A CN103856359 A CN 103856359A
- Authority
- CN
- China
- Prior art keywords
- monitoring
- appointment
- monitor
- latitude
- message
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明公开了一种获取信息的方法和系统,属于网络通信技术领域。所述方法包括:统一接入层获取应用的请求信息,对所述请求信息进行预处理得到所述请求信息的监控信息,并将所述监控信息推送给中转系统;所述中转系统接收所述统一接入层推送过来的所述监控信息,将所述监控信息中的指定监控信息发送到指定的服务质量监控接口机上;所述指定的服务质量监控接口机获取监控纬度的配置信息,根据所述监控纬度的配置信息统计所述指定监控信息,得到监控数据;指定的汇总入库系统获取并汇总所述指定的服务质量监控接口机中的监控数据,将所述监控数据按照监控纬度路由到指定的数据库表中。
Description
技术领域
本发明涉及网络通信技术领域,特别涉及一种获取信息的方法和系统。
背景技术
UGC(User Generated Content/User Created Content,用户原创内容)是一种用户使用互联网的新方式,在现有的网络中,用户不仅可以从网络上下载所需的资料,还可以将自己创作的内容上传到网络中,例如,上传日志、照片等。其中,社区网络、视频分享和博客等都是UGC的主要应用形式。
随着智能终端的多样化和全球互联网业务的不断发展,越来越多的网络用户参与到UGC业务中。大量的用户必然会产生大量的数据,最终带来更大量级的数据读写请求。面对如此快速、大量的数据读写请求,如何监控网络的服务质量,以便及时发现问题、定位到问题所在是目前需要解决的问题。
发明内容
为了实现对网络响应大量数据的服务质量的监控,本发明实施例中提供了一种获取信息的方法和系统。所述技术方案如下:
一方面,提供了一种获取信息的方法,所述方法包括:
统一接入层获取应用的请求信息,对所述请求信息进行预处理得到所述请求信息的监控信息,并将所述监控信息推送给中转系统;
所述中转系统接收所述统一接入层推送过来的所述监控信息,将所述监控信息中的指定监控信息发送到指定的服务质量监控接口机上;
所述指定的服务质量监控接口机获取监控纬度的配置信息,其中,所述监控纬度的配置信息包括至少一个:指定的监控关键字段值、指定的监控属性值或指定的监控粒度,根据所述监控纬度的配置信息统计所述指定监控信息,得到监控数据;
指定的汇总入库系统获取并汇总所述指定的服务质量监控接口机中的监控数据,将所述监控数据按照监控纬度路由到指定的数据库表中。
所述统一接入层对所述请求信息进行预处理得到所述请求信息的监控信息,包括:
所述统一接入层将所述应用的请求信息抽象为多个监控关键字段值和多个监控属性值,得到所述请求信息的监控信息,其中,所述监控关键字段值包括至少一个:所述请求的命令字、所述应用的进程ID、所述应用的进程名、所述应用的进程服务器IP、调用所述应用的进程的用户ID或调用所述应用的客户端IP,所述监控属性值包括至少一个:所述请求的成功数、所述请求的失败数、所述请求的处理时间或所述请求的超时数。
所述指定的服务质量监控接口机根据所述监控纬度的配置信息统计所述指定监控信息,得到监控数据,包括:
所述指定的服务质量监控接口机根据所述指定的监控关键字段值和所述指定的监控属性值按指定的监控粒度对所述指定监控信息中的多个监控关键字段值和所述多个监控属性值进行筛选,得到所述多个监控关键字段值中指定的监控关键字段值和指定的监控属性值,并对所述筛选后得到的所述指定的监控关键字段值和所述指定的监控属性值进行统计,得到监控数据。
所述中转系统将所述监控信息发送到指定的服务质量监控接口机上,包括:
所述中转系统将所述监控信息均匀发送到不同的质量监控接口机上,指定的服务质量接口机接收所述监控信息中的指定监控信息。
所述指定的汇总入库系统获取并汇总所述指定的服务质量监控接口机中的监控数据,将所述监控数据按照监控纬度路由到指定的数据库表中,包括:
指定的汇总入库系统获取所述指定的服务质量监控接口机中的监控数据,对所述监控数据按照监控纬度进行统计,得到每种监控纬度的汇总数据,并将所述每种监控纬度的汇总数据按预设规则保存到指定数据库表中。
所述指定的汇总入库系统将所述每种监控纬度的汇总数据按预设规则保存到指定数据库表中,包括:
所述指定的汇总入库系统按预设规则缓存所述汇总数据,判断所述缓存数据是否满足入库条件,如果是,则将所述每种监控纬度的汇总数据路由到指定数据库表中。
另一方面,提供了一种获取信息的系统,所述系统包括:统一接入层、中转系统、至少一个指定的服务质量监控接口机和至少一个指定的汇总入库系统;
所述统一接入层,用于获取应用的请求信息,对所述请求信息进行预处理得到所述请求信息的监控信息,并将所述监控信息推送给所述中转系统;
所述中转系统,用于接收所述统一接入层推送过来的所述监控信息,将所述监控信息中的指定监控信息发送到指定的服务质量监控接口机上;
所述指定的服务质量监控接口机,用于获取监控纬度的配置信息,其中,所述监控纬度的配置信息包括至少一个:指定的监控关键字段值、指定的监控属性值或指定的监控粒度,根据所述监控纬度的配置信息统计所述指定监控信息,得到监控数据;
所述指定的汇总入库系统,用于获取并汇总所述指定的服务质量监控接口机中的监控数据,将所述监控数据按照监控纬度路由到指定的数据库表中。
所述统一接入层对所述请求信息进行预处理得到所述请求信息的监控信息,包括:
所述统一接入层将所述应用的请求信息抽象为多个监控关键字段值和多个监控属性值,得到所述请求信息的监控信息,其中,所述监控关键字段值包括至少一个:所述请求的命令字、所述应用的进程ID、所述应用的进程名、所述应用的进程服务器IP、调用所述应用的进程的用户ID或调用所述应用的客户端IP,所述监控属性值包括至少一个:所述请求的成功数、所述请求的失败数、所述请求的处理时间或所述请求的超时数。
所述指定的服务质量监控接口机根据所述监控纬度的配置信息统计所述指定监控信息,得到监控数据,包括:
所述指定的服务质量监控接口机根据所述指定的监控关键字段值和所述指定的监控属性值按所述指定的监控粒度对所述指定监控信息中的多个监控关键字段值和所述多个监控属性值进行筛选,得到所述多个监控关键字段值中指定的监控关键字段值和指定的监控属性值,并对所述筛选后得到的所述指定的监控关键字段值和所述指定的监控属性值进行统计,得到监控数据。
所述指定的汇总入库系统获取并汇总所述指定的服务质量监控接口机中的监控数据,将所述监控数据按照监控纬度路由到指定的数据库表中,包括:
所述指定的汇总入库系统获取所述指定的服务质量监控系统中的监控数据,对所述监控数据按照监控纬度进行统计,得到每种监控纬度的汇总数据,并将所述每种监控纬度的汇总数据按预设规则保存到指定数据库表中。
所述指定的汇总入库系统将所述每种监控纬度的汇总数据按预设规则保存到指定数据库表中,包括:
所述指定的汇总入库系统按预设规则缓存所述汇总数据,判断所述缓存数据是否满足入库条件,如果是,则将所述每种监控纬度的汇总数据路由到指定数据库表中。
本发明实施例提供的技术方案带来的有益效果是:统一接入层获取应用的请求信息,对所述请求信息进行预处理得到所述请求信息的监控信息,并将所述监控信息推送给中转系统;所述中转系统接收所述统一接入层推送过来的所述监控信息,将所述监控信息中的指定监控信息发送到指定的服务质量监控接口机上;所述指定的服务质量监控接口机获取监控纬度的配置信息,根据所述监控纬度的配置信息统计所述指定监控信息,得到监控数据;指定的汇总入库系统获取并汇总所述指定的服务质量监控接口机中的监控数据,将所述监控数据按照监控纬度路由到指定的数据库表中。从而实现了对网络响应大量数据的服务质量的监控。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例一中提供的一种获取信息的系统结构示意图;
图2是本发明实施例一中提供的另一种获取信息的系统结构示意图;
图3是本发明实施例二中提供的一种获取信息的方法流程图;
图4是本发明实施例三中提供的一种获取信息的方法流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明实施方式作进一步地详细描述。
实施例一
参见图1,本实施例中提供了一种获取信息的系统,所述系统包括:统一接入层101、中转系统102、至少一个指定的服务质量监控接口机103和至少一个指定的汇总入库系统104;
所述统一接入层101,用于获取应用的请求信息,对所述请求信息进行抽象得到所述请求信息的监控信息,并将所述监控信息推送给所述中转系统;
所述中转系统102,用于接收所述统一接入层101推送过来的所述监控信息,将所述监控信息中的指定监控信息发送到指定的服务质量监控接口机上;
所述指定的服务质量监控接口机103,用于获取监控纬度的配置信息,其中,所述监控纬度的配置信息包括至少一个:指定的监控关键字段值、指定的监控属性值和指定的监控粒度,根据所述监控纬度的配置信息统计所述指定监控信息,得到监控数据;
所述指定的汇总入库系统104,用于获取并汇总所述指定的服务质量监控接口机103中的监控数据,将所述监控数据按照监控纬度路由到指定的数据库表中。
其中,该系统中包括多个服务质量监控接口机,中转系统将接收到的请求数据均匀的发到不同的服务质量监控接口机上,指定的服务质量监控接口机代之任意一个服务质量监控接口机。系统中也包括多个汇总入库系统,其中指定的汇总入库系统代指每个汇总入库系统,并不特指某个汇总入库系统。
其中,所述统一接入层101对所述请求信息进行预处理得到所述请求信息的监控信息,包括:
所述统一接入层101将所述应用的请求信息抽象为多个监控关键字段值和多个监控属性值,得到所述请求信息的监控信息,其中,所述监控关键字段值包括至少一个:所述请求的命令字、所述应用的进程ID、所述应用的进程名、所述应用的进程服务器IP、调用所述应用的进程的用户ID或调用所述应用的客户端IP,所述监控属性值包括至少一个:所述请求的成功数、所述请求的失败数、所述请求的处理时间或所述请求的超时数。
其中,所述指定的服务质量监控接口机103根据所述监控纬度的配置信息统计所述指定监控信息,得到监控数据,包括:
所述指定的服务质量监控接口机103根据所述指定的监控关键字段值和所述指定的监控属性值按所述指定的监控粒度对所述指定监控信息中的多个监控关键字段值和所述多个监控属性值进行筛选,得到所述多个监控关键字段值中指定的监控关键字段值和指定的监控属性值,并对所述筛选后得到的所述指定的监控关键字段值和所述指定的监控属性值进行统计,得到监控数据。
进一步地,所述指定的汇总入库系统104获取所述指定的服务质量监控接口机103中的监控数据,将所述监控数据按照监控纬度路由到指定的数据库表中,包括:
所述指定的汇总入库系统104获取所述指定的服务质量监控接口机103中的监控数据,对所述监控数据按照所述监控纬度的配置信息进行统计,得到每种监控纬度的汇总数据,并将所述每种监控纬度的汇总数据按预设规则保存到指定数据库表中。
进一步地,所述指定的汇总入库系统将所述每种监控纬度的汇总数据按预设规则保存到指定数据库表中,包括:
所述指定的汇总入库系统按预设规则缓存所述汇总数据,判断所述缓存数据是否满足入库条件,如果是,则将所述每种监控纬度的汇总数据路由到指定数据库表中。
为使本领域技术人员更加了解本发明中提供的获取信息的系统,现举例如下:
参见图2,该系统包括统一接入层,中转系统,三个服务质量监控接口机和两个汇总入库系统。其中,统一接入层获取应用的请求信息,将请求信息抽像为多个监控关键字段和多个监控属性值,得到监控信息,并将监控信息推送给中转系统;中转系统接收到监控信息后将监控信息均匀的发送到三个不同的服务质量监控接口机上;每个服务质量监控接口机根据所述指定的监控关键字段值和所述指定的监控属性值按所述指定的监控粒度对所述抽象得到的多个监控关键字段值和所述多个监控属性值进行筛选,得到所述多个监控关键字段值中指定的监控关键字段值和指定的监控属性值,并对所述筛选后得到的所述指定的监控关键字段值和所述指定的监控属性值进行统计,得到监控数据;每个汇总入库系统获取并汇总所有服务质量监控接口机中的监控数据,将所述监控数据按照监控纬度路由到指定的数据库表中。
本实施例的有益效果是:统一接入层获取应用的请求信息,对所述请求信息进行预处理得到所述请求信息的监控信息,并将所述监控信息推送给中转系统;所述中转系统接收所述统一接入层推送过来的所述监控信息,将所述监控信息中的指定监控信息发送到指定的服务质量监控接口机上;所述指定的服务质量监控接口机获取监控纬度的配置信息,根据所述监控纬度的配置信息统计所述指定监控信息,得到监控数据;指定的汇总入库系统获取并汇总所述指定的服务质量监控接口机中的监控数据,将所述监控数据按照监控纬度路由到指定的数据库表中。从而实现了对网络响应大量数据的服务质量的监控。
实施例二
参见图3,本实施例中提供了一种获取信息的方法,所述方法包括:
201、统一接入层获取应用的请求信息,对所述请求信息进行预处理得到所述请求信息的监控信息,并将所述监控信息推送给中转系统;
202、所述中转系统接收所述统一接入层推送过来的所述监控信息,将所述监控信息中的指定监控信息发送到指定的服务质量监控接口机上;
203、所述指定的服务质量监控接口机获取监控纬度的配置信息,其中,所述监控纬度的配置信息包括至少一个:指定的监控关键字段值、指定的监控属性值或指定的监控粒度,根据所述监控纬度的配置信息统计所述指定监控信息,得到监控数据;
204、指定的汇总入库系统获取并汇总所述指定的服务质量监控接口机中的监控数据,将所述监控数据按照监控纬度路由到指定的数据库表中。
其中,所述统一接入层对所述请求信息进行预处理得到所述请求信息的监控信息,包括:
所述统一接入层将所述应用的请求信息抽象为多个监控关键字段值和多个监控属性值,得到所述请求信息的监控信息,其中,所述监控关键字段值包括至少一个:所述请求的命令字、所述应用的进程ID、所述应用的进程名、所述应用的进程服务器IP、调用所述应用的进程的用户ID或调用所述应用的客户端IP,所述监控属性值包括至少一个:所述请求的成功数、所述请求的失败数、所述请求的处理时间或所述请求的超时数。
其中,所述指定的服务质量监控接口机根据所述监控纬度的配置信息统计所述指定监控信息,得到监控数据,包括:
所述指定的服务质量监控接口机根据所述指定的监控关键字段值和所述指定的监控属性值按指定的监控粒度对所述指定监控信息中多个监控关键字段值和所述多个监控属性值进行筛选,得到所述多个监控关键字段值中指定的监控关键字段值和指定的监控属性值,并对所述筛选后得到的所述指定的监控关键字段值和所述指定的监控属性值进行统计,得到所述请求的监控数据。
优选地,所述中转系统将所述监控信息发送到指定的服务质量监控接口机上,包括:
所述中转系统将所述监控信息均匀发送到不同的质量监控接口机上,指定的服务质量接口机接收所述监控信息中的指定监控信息。
进一步地,所述指定的汇总入库系统获取并汇总所述指定的服务质量监控接口机中的监控数据,将所述监控数据按照监控纬度路由到指定的数据库表中,包括:
指定的汇总入库接口机获取所述指定的服务质量监控系统中的监控数据,对所述监控数据按照监控纬度进行统计,得到每种监控纬度的汇总数据,并将所述每种监控纬度的汇总数据按预设规则保存到指定数据库表中。
进一步地,所述指定的汇总入库系统将所述每种监控纬度的汇总数据按预设规则保存到指定数据库表中,包括:
所述指定的汇总入库系统按预设规则缓存所述汇总数据,判断所述缓存数据是否满足入库条件,如果是,则将所述每种监控纬度的汇总数据路由到指定数据库表中。
本实施例的有益效果是:统一接入层获取应用的请求信息,对所述请求信息进行抽象得到所述请求信息的监控信息,并将所述监控信息推送给中转系统;所述中转系统接收所述统一接入层推送过来的所述监控信息,将所述监控信息中的指定监控信息发送到指定的服务质量监控接口机上;所述指定的服务质量监控接口机获取监控纬度的配置信息,根据所述监控纬度的配置信息统计所述指定监控信息,得到监控数据;指定的汇总入库系统获取并汇总所述指定的服务质量监控接口机中的监控数据,将所述监控数据按照监控纬度路由到指定的数据库表中。从而实现了对网络响应大量数据的服务质量的监控。
实施例三
本发明实施例中提供了一种获取信息的方法,参见图4,方法流程包括:
301、统一接入层获取应用的请求信息,对所述请求信息进行预处理得到所述请求信息的监控信息。
本实施例中,统一接入层是用户访问应用的入口,其中应用包括微博、社区网络或博客等应用程序。请求信息包括应用在预设时间内收到的所有请求信息,其中预设时间可以是1分钟、5分钟或是10分钟等,对此本实施例不做具体限定。
本实施例中,一方面,统一接入层处理用户对应用的访问请求,并向终端用户界面返回请求响应;另一方面,统一接入层在后台获取应用在预设时间内的所有访问请求,对每个请求进行预处理得到请求的监控信息,其中监控信息包括:监控关键字段值和监控属性值。其中预处理即将每个请求信息抽象为多个监控关键字段值和多个监控属性值。其中,监控关键字段值是指请求的路径标识,包括但不限于:所述请求的命令字、应用的进程ID、应用的进程名、应用的进程的服务器IP、调用应用的进程的用户ID和调用应用的客户端IP中的一种或多种,所述监控属性值是指请求的响应状态,包括但不限于:请求的成功数、请求的失败数、请求的处理时间、请求的超时数中的一种或多种。如表1所示的抽象请求信息得到的监控关键字段和监控属性值:
表1
302、统一接入层将监控信息推送给中转系统。
本实施例中,统一接入层只负责请求信息的收集,并将每个请求消息抽象为多个监控关键字段值和多个监控属性值,得到监控信息,得到监控信息后将其推送给中转系统,并不在本地对请求信息进行统计。
303、中转系统接收统一接入层推送过来的监控信息,将所述监控信息中的指定监控信息发送到指定的服务质量监控接口机上。
本实施例中,设置多个Sqm(服务质量监控)接口机,中转系统接收统一接入层推送过来的所有监控信息,并把这些监控信息均匀发送到不同的Sqm(服务质量监控)接口机上,所有的服务质量接口机均摊监控信息,指定的服务质量接口机接收所述监控信息中的指定监控信息。指定的Sqm接口机指任意一个接收到监控信息的Sqm接口机,并不是特指某一个Sqm接口机,指定监控信息是指定的Sqm接口机均摊到的监控信息。
304、指定的服务质量监控接口机获取监控纬度的配置信息,根据所述监控纬度的配置信息统计所述指定监控信息,得到监控数据。
本实施例中,监控纬度是指分析监控数据的角度,例如从命令字、前端调用进程名等角度对请求数据进行统计。监控纬度可以根据需要进行配置。
所述监控纬度的配置信息包括但不限于:指定的监控关键字段值、指定的监控属性值和指定的监控粒度中的一个或多个。其中,监控粒度是指统计请求信息的指定时长。例如,统计1分钟之内的请求信息,统计2分钟之内的请求信息,或是统计5分钟之内的请求信息。本实施例中优选地,监控纬度的配置信息包括:指定的监控关键字段值、指定的监控属性值和指定的监控粒度,但可选地,监控纬度的配置信息可以只包括指定的监控关键字段值和指定的监控属性值,或指定的监控关键字段值和指定的监控粒度,对此本实施例中并不做具体限定。
本实施例中,预先配置监控纬度的配置信息,在对请求信息进行统计时,获取监控纬度的配置信息,并按照监控纬度的配置信息对请求信息进行统计。其中,指定的监控关键字段值可能只包括多个监控关键字段值中的部分值和部分监控属性值,例如,包括请求命令字、前端应用进程ID、前端应用进程服务器IP和调用应用客户端IP,不包括前端应用进程名或调用应用进程用户ID等,这种情况下需要根据配置信息对请求信息中的监控关键字段值和监控属性值进行筛选,得到需要监控的数据。
具体的,指定的服务质量监控接口机根据所述监控纬度的配置信息统计所述指定监控信息,得到监控数据,包括:所述指定的服务质量监控接口机根据所述指定的监控关键字段值和所述指定的监控属性值按指定的监控粒度对所述指定监控信息中的多个监控关键字段值和多个监控属性值进行筛选,得到所述多个监控关键字段值中指定的监控关键字段值和所述指定的监控属性值,并对所述筛选后得到的所述指定的监控关键字段值和所述指定的监控属性值进行统计,得到监控数据。
305、指定的汇总入库系统获取并汇总指定的服务质量监控接口机中的监控数据,将所述监控数据按照监控纬度路由到指定的数据库中。
本实施例中,设置多个汇总入库系统,其中指定的汇总入库系统代指每个汇总入库系统,并不特指某个汇总入库系统。每个汇总入库系统均监控所有的Sqm接口机,并获取每个Sqm接口机中的监控数据。其中,一个汇总入库系统可以负责统计多个监控纬度,并对每一种监控纬度按照相同的监控纬度进行汇总,得到每一种监控纬度对应的监控数据。例如,从命令字、前端调用进程名的角度对请求数据进行统计,分别得到命令字和前端调用进程名对应的监控数据。
本实施例中具体的,指定的汇总入库系统获取并汇总所述指定的服务质量监控接口机中的监控数据,将所述监控数据按照监控纬度路由到指定的数据库中,包括:指定的汇总入库系统获取所述指定的服务质量监控接口机中的监控数据,对所述监控数据按照监控纬度进行统计,得到每种监控纬度的汇总数据,并将所述每种监控纬度的汇总数据按预设规则保存到指定数据库表中。
本实施例中,对每种监控纬度的数据进行汇总后,Sqm汇总入库系统对每一种监控纬度的监控数据进行组织,划分为不同的数据库表,并把监控数据保存到归属的数据库表中。其中,指定数据库表代指任意一种监控纬度需要存储的数据库表。所述指定的汇总入库系统将所述每种监控纬度的汇总数据按预设规则保存到指定数据库表中,包括:所述指定的汇总入库系统按预设规则缓存所述汇总数据,判断所述缓存数据是否满足入库条件,如果是,则将所述每种监控纬度的汇总数据路由到指定数据库表中。其中,入库条件可以是时间上满足入库条件,也可以是缓存数据上满足入库条件。例如,设置入库条件为缓存时间是否满足预定时间,预定时间可以是2分钟或是3分钟,入库条件还可以为缓存数据是否满足预设数量,如20条、25条数据等,对此本实施例不做具体限定。其中每个数据库表会缓存预定时间内的数据,达到预定时间后,数据库表判断本地是否有缓存数据,如果是则存储该数据。
本实施例的有益效果是:统一接入层获取应用的请求信息,对所述请求信息进行抽象得到所述请求信息的监控信息,并将所述监控信息推送给中转系统;所述中转系统接收所述统一接入层推送过来的所述监控信息,将所述监控信息中的指定监控信息发送到指定的服务质量监控接口机上;所述指定的服务质量监控接口机获取监控纬度的配置信息,根据所述监控纬度的配置信息统计所述指定监控信息,得到监控数据;指定的汇总入库系统获取并汇总所述指定的服务质量监控接口机中的监控数据,将所述监控数据按照监控纬度路由到指定的数据库表中。从而实现了对网络响应大量数据的服务质量的监控。且直接在监控系统的前端引入监控纬度的概念,大大减少监控数据,提高系统效率。另一方面,该系统可以对监控数据按照需要进行组织,即选取某种监控纬度进行组织,减小了每个监控数据表大小,并且各个监控数据表可以路由到不同的数据库中,数据库保存和查询速度有较大提高。另一方面,可以根据运营的需要,提出新的监控纬度,并相应的在配置中心定义该新的监控纬度,就能够实现对该监控纬度的统计,方便系统的扩展。且中转系统的引入,使线上运营服务和监控服务分离,给监控数据很多的拓展空间,并且给以后使用中转数据的其他业务带来了可能。另一方面,Sqm接口机按照监控纬度统计监控信息,数据库按监控纬度存储监控数据,即数据处理单元和存储单元的单位都为监控纬度,这样当监控系统整体负载高的时候,就可以把某些监控纬度迁移到新扩容的处理单元和存储单元,对未迁移的监控类型无任何影响,这样更方便实现系统的灵活扩容,消除可能的瓶颈。
需要说明的是:上述实施例中提供的获取信息的系统,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。
另外,上述实施例提供的获取信息的系统与获取信息的方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (11)
1.一种获取信息的方法,其特征在于,所述方法包括:
统一接入层获取应用的请求信息,对所述请求信息进行预处理得到所述请求信息的监控信息,并将所述监控信息推送给中转系统;
所述中转系统接收所述统一接入层推送过来的所述监控信息,将所述监控信息中的指定监控信息发送到指定的服务质量监控接口机上;
所述指定的服务质量监控接口机获取监控纬度的配置信息,其中,所述监控纬度的配置信息包括至少一个:指定的监控关键字段值、指定的监控属性值或指定的监控粒度,根据所述监控纬度的配置信息统计所述指定监控信息,得到监控数据;
指定的汇总入库系统获取并汇总所述指定的服务质量监控接口机中的监控数据,将所述监控数据按照监控纬度路由到指定的数据库表中。
2.根据权利要求1所述的方法,其特征在于,所述统一接入层对所述请求信息进行预处理得到所述请求信息的监控信息,包括:
所述统一接入层将所述终端用户的请求信息抽象为多个监控关键字段值和多个监控属性值,得到所述请求信息的监控信息,其中,所述监控关键字段值包括至少一个:所述请求的命令字、所述应用的进程ID、所述应用的进程名、所述应用的进程服务器IP、调用所述应用的进程的用户ID或调用所述应用的客户端IP,所述监控属性值包括至少一个:所述请求的成功数、所述请求的失败数、所述请求的处理时间或所述请求的超时数。
3.根据权利要求2所述的方法,其特征在于,所述指定的服务质量监控接口机根据所述监控纬度的配置信息统计所述指定监控信息,得到监控数据,包括:
所述指定的服务质量监控接口机根据所述指定的监控关键字段值和所述指定的监控属性值按指定的监控粒度对所述指定监控信息中的多个监控关键字段值和所述多个监控属性值进行筛选,得到所述多个监控关键字段值中指定的监控关键字段值和指定的监控属性值,并对所述筛选后得到的所述指定的监控关键字段值和所述指定的监控属性值进行统计,得到监控数据。
4.根据权利要求1所述的方法,其特征在于,所述中转系统将所述监控信息发送到指定的服务质量监控接口机上,包括:
所述中转系统将所述监控信息均匀发送到不同的质量监控接口机上,指定的服务质量接口机接收所述监控信息中的指定监控信息。
5.根据权利要求1所述的方法,其特征在于,所述指定的汇总入库系统获取并汇总所述指定的服务质量监控接口机中的监控数据,将所述监控数据按照监控纬度路由到指定的数据库表中,包括:
指定的汇总入库系统获取所述指定的服务质量监控接口机中的监控数据,对所述监控数据按照监控纬度进行统计,得到每种监控纬度的汇总数据,并将所述每种监控纬度的汇总数据按预设规则保存到指定数据库表中。
6.根据权利要求4所述的方法,其特征在于,所述指定的汇总入库系统将所述每种监控纬度的汇总数据按预设规则保存到指定数据库表中,包括:
所述指定的汇总入库系统按预设规则缓存所述汇总数据,判断所述缓存数据是否满足入库条件,如果是,则将所述每种监控纬度的汇总数据路由到指定数据库表中。
7.一种获取信息的系统,其特征在于,所述系统包括:统一接入层、中转系统、至少一个指定的服务质量监控接口机和至少一个指定的汇总入库系统;
所述统一接入层,用于获取应用的请求信息,对所述请求信息进行预处理得到所述请求信息的监控信息,并将所述监控信息推送给所述中转系统;
所述中转系统,用于接收所述统一接入层推送过来的所述监控信息,将所述监控信息中的指定监控信息发送到指定的服务质量监控接口机上;
所述指定的服务质量监控接口机,用于获取监控纬度的配置信息,其中,所述监控纬度的配置信息包括至少一个:指定的监控关键字段值、指定的监控属性值或指定的监控粒度,根据所述监控纬度的配置信息统计所述指定监控信息,得到监控数据;
所述指定的汇总入库系统,用于获取并汇总所述指定的服务质量监控接口机中的监控数据,将所述监控数据按照监控纬度路由到指定的数据库表中。
8.根据权利要求7所述的系统,其特征在于,所述统一接入层对所述请求信息进行预处理得到所述请求信息的监控信息,包括:
所述统一接入层将所述应用的请求信息抽象为多个监控关键字段值和多个监控属性值,得到所述请求信息的监控信息,其中,所述监控关键字段值包括至少一个:所述请求的命令字、所述应用的进程ID、所述应用的进程名、所述应用的进程服务器IP、调用所述应用的进程的用户ID、调用所述应用的客户端IP,所述监控属性值包括至少一个:所述请求的成功数、所述请求的失败数、所述请求的处理时间或所述请求的超时数。
9.根据权利要求8所述的系统,其特征在于,所述指定的服务质量监控接口机根据所述监控纬度的配置信息统计所述指定监控信息,得到监控数据,包括:
所述指定的服务质量监控接口机根据所述指定的监控关键字段值和所述指定的监控属性值按所述指定的监控粒度对所述指定监控信息中的多个监控关键字段值和所述多个监控属性值进行筛选,得到所述多个监控关键字段值中指定的监控关键字段值和指定的监控属性值,并对所述筛选后得到的所述指定的监控关键字段值和所述指定的监控属性值进行统计,得到监控数据。
10.根据权利要求7所述的系统,其特征在于,所述指定的汇总入库系统获取并汇总所述指定的服务质量监控接口机中的监控数据,将所述监控数据按照监控纬度路由到指定的数据库表中,包括:
所述指定的汇总入库系统获取所述指定的服务质量监控接口机中的监控数据,对所述监控数据按照监控纬度进行统计,得到每种监控纬度的汇总数据,并将所述每种监控纬度的汇总数据按预设规则保存到指定数据库表中。
11.根据权利要求10所述的系统,其特征在于,所述指定的汇总入库系统将所述每种监控纬度的汇总数据按预设规则保存到指定数据库表中,包括:
所述指定的汇总入库系统按预设规则缓存所述汇总数据,判断所述缓存数据是否满足入库条件,如果是,则将所述每种监控纬度的汇总数据路由到指定数据库表中。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210493261.2A CN103856359B (zh) | 2012-11-28 | 2012-11-28 | 获取信息的方法和系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210493261.2A CN103856359B (zh) | 2012-11-28 | 2012-11-28 | 获取信息的方法和系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103856359A true CN103856359A (zh) | 2014-06-11 |
CN103856359B CN103856359B (zh) | 2018-03-13 |
Family
ID=50863603
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201210493261.2A Active CN103856359B (zh) | 2012-11-28 | 2012-11-28 | 获取信息的方法和系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103856359B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108847998A (zh) * | 2018-04-20 | 2018-11-20 | 平安科技(深圳)有限公司 | 报表监控方法、装置、计算机设备和存储介质 |
CN110138634A (zh) * | 2019-04-03 | 2019-08-16 | 福建天泉教育科技有限公司 | 一种重点数据的监控方法及终端 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1859227A (zh) * | 2005-12-28 | 2006-11-08 | 华为技术有限公司 | 根据服务水平协议对服务质量进行监测的方法和系统 |
CN101035117A (zh) * | 2006-03-06 | 2007-09-12 | 腾讯科技(深圳)有限公司 | 网络信息服务系统中收集服务处理信息的方法和系统 |
EP2254363A1 (en) * | 2007-11-19 | 2010-11-24 | Qualcomm Incorporated | Diagnostic monitoring by a wireless device |
CN102025759A (zh) * | 2009-09-16 | 2011-04-20 | 中国电信股份有限公司 | 实时提供ugc分享业务的方法和系统 |
CN102231673A (zh) * | 2011-05-31 | 2011-11-02 | 北京京东世纪贸易有限公司 | 用于监控业务服务器的系统和方法 |
-
2012
- 2012-11-28 CN CN201210493261.2A patent/CN103856359B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1859227A (zh) * | 2005-12-28 | 2006-11-08 | 华为技术有限公司 | 根据服务水平协议对服务质量进行监测的方法和系统 |
CN101035117A (zh) * | 2006-03-06 | 2007-09-12 | 腾讯科技(深圳)有限公司 | 网络信息服务系统中收集服务处理信息的方法和系统 |
EP2254363A1 (en) * | 2007-11-19 | 2010-11-24 | Qualcomm Incorporated | Diagnostic monitoring by a wireless device |
CN102025759A (zh) * | 2009-09-16 | 2011-04-20 | 中国电信股份有限公司 | 实时提供ugc分享业务的方法和系统 |
CN102231673A (zh) * | 2011-05-31 | 2011-11-02 | 北京京东世纪贸易有限公司 | 用于监控业务服务器的系统和方法 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108847998A (zh) * | 2018-04-20 | 2018-11-20 | 平安科技(深圳)有限公司 | 报表监控方法、装置、计算机设备和存储介质 |
CN108847998B (zh) * | 2018-04-20 | 2021-09-14 | 平安科技(深圳)有限公司 | 报表监控方法、装置、计算机设备和存储介质 |
CN110138634A (zh) * | 2019-04-03 | 2019-08-16 | 福建天泉教育科技有限公司 | 一种重点数据的监控方法及终端 |
Also Published As
Publication number | Publication date |
---|---|
CN103856359B (zh) | 2018-03-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10484190B2 (en) | Managing channels in an open data ecosystem | |
CN111258978B (zh) | 一种数据存储的方法 | |
WO2021088641A1 (zh) | 数据发送方法、处理方法、接收方法及其设备、存储介质 | |
KR101871383B1 (ko) | 계층적 데이터 구조의 노드 상에서 재귀적 이벤트 리스너를 사용하기 위한 방법 및 시스템 | |
US20150135255A1 (en) | Client-configurable security options for data streams | |
CN113010565B (zh) | 基于服务器集群的服务器实时数据处理方法及系统 | |
CN110716744A (zh) | 一种数据流处理方法、系统和计算机可读存储介质 | |
CN103310087A (zh) | 业务数据统计分析方法和装置 | |
CN108228322B (zh) | 一种分布式链路跟踪、分析方法及服务器、全局调度器 | |
CN107888666A (zh) | 一种跨地域数据存储系统以及数据同步方法和装置 | |
US20180248772A1 (en) | Managing intelligent microservices in a data streaming ecosystem | |
CN110162512A (zh) | 一种日志检索方法、装置及存储介质 | |
US20180248977A1 (en) | Selective distribution of messages in a publish-subscribe system | |
CN110532493B (zh) | 数据的处理方法及装置、存储介质和电子装置 | |
CN111177237B (zh) | 一种数据处理系统、方法及装置 | |
CN102882960A (zh) | 一种资源文件的发送方法及装置 | |
CN110928681A (zh) | 数据的处理方法和装置、存储介质及电子装置 | |
CN108228432A (zh) | 一种分布式链路跟踪、分析方法及服务器、全局调度器 | |
CN112181678A (zh) | 业务数据的处理方法、装置和系统、存储介质、电子装置 | |
CN112417050A (zh) | 数据同步方法和装置、系统、存储介质及电子装置 | |
US11334535B2 (en) | Storage and analysis of data records associated with managed devices in a device management platform | |
CN103856359A (zh) | 获取信息的方法和系统 | |
CN102170476B (zh) | 一种基于云节点自主学习的云计算方法和装置 | |
CN110188258B (zh) | 使用爬虫获取外部数据的方法及装置 | |
CN108805741B (zh) | 一种电能质量数据的融合方法、装置及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right |
Effective date of registration: 20190805 Address after: Shenzhen Futian District City, Guangdong province 518000 Zhenxing Road, SEG Science Park 2 East Room 403 Co-patentee after: Tencent cloud computing (Beijing) limited liability company Patentee after: Tencent Technology (Shenzhen) Co., Ltd. Address before: Shenzhen Futian District City, Guangdong province 518000 Zhenxing Road, SEG Science Park 2 East Room 403 Patentee before: Tencent Technology (Shenzhen) Co., Ltd. |
|
TR01 | Transfer of patent right |