CN115022402A - 一种基于一栈式集成技术的agent采集方法及系统 - Google Patents

Abstract

本发明公开了一种基于一栈式集成技术的agent采集方法及系统，包括：数据采集层，数据预计算层，数据缓存层，数据融合层，数据发送层。数据采集层负责对机器数据的实时采集。数据预计算层，负责将采集层收集到的原始指标信息，按照一定的时间间隔进行聚合处理。数据缓存层，负责将采集器在一定时间内的数据缓存到内存中，然后，通过一个固定的时间间隔，将数据统一发送给后端。数据融合层，负责将不同的插件客户端采集上来的指标数据做格式统一化处理，以及将不同应用服务的调用链数据做格式的统一化处理。数据发送层，负责将不同采集模块的数据，定时发送到后台，本发明有效地解决了不同的技术栈数据的统一采集问题。

Description

一种基于一栈式集成技术的agent采集方法及系统

技术领域

本发明属于一种异构采集技术领域，涉及一种基于一栈式集成技术的agent采集方法及系统。

背景技术

随着企业信息化建设进程的加快和加速普及。目前信息系统正朝着大规模，高度分布式的方向发展。应用系统的高度复杂性，数据中心与数据中心之间的频繁协同交互，使得对于企业信息系统整体全貌的可观测性要求越来越高。

随着数字化转型浪潮的加速推动，越来越多的企业选择构建自己的信息数据中心，或者通过现在流行的云服务供应商，将信息系统往云上迁移。

当前正处于信息技术爆炸的时代，各种技术层出不穷。一个企业信息应用系统往往使用各种各样的技术栈。Java，Python，Go，C/C++技术栈往往配合使用。各种服务中间件大量占据着云虚拟机运行环境。往往一台物理服务器上会运行多个不同的服务。对于差异巨大的异构系统的统一标准检测采集成为现在最大的挑战。

祁建明等人公开了在基于语义Agent的多源异构安全数据采集系统，提出了一种对大规模异构网络设备数据采集的方法。在不同的网络设备上安装不同类型的采集agent，通过一个中间管理层监控和启停这些agent。以语义处理的方式，将采集到的数据统一融合到数据库中，实现了对异构网络设备数据的采集。

现有技术存在以下缺点：

1)现有技术都是通过特定的agent采集方式对不同的服务，业务系统，网络设备信息进行采集，不能通过一个agent来采集不同应用服务类型的数据；

2)现有技术中没考虑对采集技术框架的标准定义，从而能够兼容不同的技术栈的数据采集；

3)现有的技术中没有考虑对于采集的异构数据，如何进行关联。我们通过对数据统一自动打标的方式，将不同类型的数据通过标签进行关联；

4)同时，我们能够对主机上现有的语言技术栈进行自动探测，将不同类型的语言探针自动注入到服务进程中，这是现在任何技术都无法做到的。

发明内容

本发明提供了一种基于一栈式集成技术的agent采集方法。

本发明通过定义标准通信框架和协议，可以接入不同来源的插件指标数据,不同来源的调用链数据,以及不同来源的日志数据。

本发明通过自定义标准数据格式，指标数据格式，调用链数据格式，以及日志数据格式。可以将异构来源数据统一转化为同一种数据格式。

一种基于一栈式集成技术的agent采集方法，包括以下步骤：

1)数据采集模块采集调用链信息、云服务主机和云服务中间件的性能指标信息、云服务主机的状态，以及应用日志；

2)将调用链信息、云服务主机和云服务中间件的性能指标信息、云服务主机的状态以及应用日志输入到数据缓冲模块；

3)数据融合模块将调用数据缓冲模块的数据进行融合，得到融合后的数据；

将融合后的数据中的性能指标信息进行数值聚合计算，再预计算得到各个数据点，再进行数据整理，得到预计算后的性能指标信息；

4)将步骤3)数据融合模块融合后的数据以及预计算后的性能指标信息存入数据缓冲模块，将融合后的数据不断存入内存队列，当内存队列空间已满，将之后的融合后的数据写入磁盘文件队列；

5)步骤4)中数据缓冲模块的内存队列发送给数据发送模块，数据发送模块将数据发送到数据中心，并收到数据中心返回的成功状态码，数据发送模块发送成功后将发送成功的数据移除。

agent：是指驻留在某一环境下，能持续自主地发挥作用，具备驻留性、反应性、主动性等特征的计算实体，能够对所在物理主机或者虚拟机上的运行环境进行检测和采集。

步骤1)中，采集包括：

agent作为最终上报数据中心的模块，主要由agent插件模块、APM agent模块、agent提供的http API三方接入模块上报给agent统一处理。

步骤3)中，预计算具体包括：

Count，表示一个时间间隔内事件发生的总数，用于计数；

Rate，表示一个时间间隔内每秒发生的事件总数，用于采集事件的频率；

Gauge,表示一个时间间隔内采集的最后一个值，用于计量资源的使用情况；

Histogram,表示一个时间间隔内agent计算一组值的统计分布情况，用于计算指标的平均数、总数、中位数、95百分位、最大值；

Distribution,表示一个时间间隔内跨整个分布式基础架构计算的一组值的全局统计分布情况，用于独立于底层主机检测逻辑对象，如服务；

数据整理具体包括：

将各个数据点根据标签、指标名进行分类。

步骤4)中，数据缓冲模块包括：内存队列和磁盘文件队列。

一种实现基于一栈式集成技术的agent采集方法的系统，包括：

数据采集模块，用于采集调用链信息、云服务主机和云服务中间件的性能指标信息、云服务主机的状态，以及应用日志；

第一数据缓冲模块，用于接收数据采集模块传输的调用链信息、云服务主机和云服务中间件的性能指标信息、云服务主机的状态以及应用日志；

数据融合模块，用于将调用第一数据缓冲模块的数据进行融合，得到融合后的数据；

数据预计算模块，用于将数据融合模块融合后的数据中的性能指标信息进行数值聚合计算，再预计算得到各个数据点，再进行数据整理，得到预计算后的性能指标信息；

第二数据缓冲模块，用于存入数据融合模块融合后的数据以及数据预计算模块预计算后的性能指标信息，并将融合后的数据不断存入内存队列，当内存队列空间已满，将之后的融合后的数据写入磁盘文件队列；

数据发送模块，用于接收第二数据缓冲模块发送的内存队列，并将数据发送到数据中心，并收到数据中心返回的成功状态码，发送成功后将发送成功的数据移除。

本发明系统包括：数据采集层(即数据采集模块)，数据预计算层(即数据预计算模块)，数据缓存层(即数据缓存模块)，数据融合层(即数据融合模块)，数据发送层(即数据发送模块)。其中，数据采集层由agent的各个不同模块的采集插件构成。例如物理机器的CPU采集模块，IO采集模块等。还包括物理机器上的进程信息，容器镜像信息，应用服务的调用链数据，以及所在主机上的定向日志数据。采集模块负责对机器数据的实时采集。数据预计算层，负责将采集层收集到的原始指标信息，按照一定的时间间隔进行聚合处理。数据缓存层，负责将采集器在一定时间内的数据缓存到内存中，然后，通过一个固定的时间间隔，将数据统一发送给后端。数据融合层，负责将不同的插件客户端采集上来的指标数据做格式统一化处理。以及将不同应用服务的调用链数据做格式的统一化处理。数据发送层，负责将不同采集模块的数据，定时发送到后台。本发明方案有效地解决了不同的技术栈数据的统一采集问题。

与现有技术相比，本发明具有如下优点：

一、一栈式采集：用户无需进行复杂的配置，直接一个agent服务就能够做到对单台物理主机或者虚拟机上现有的异构技术栈的采集；

二、高保真：本发明通过集成不同的轻量级插件客户端，直接与目标服务和中间件进行通信，能够实时采集到最原始的数据，统一发送到后台处理；

三、低开销：本发明使用golang作为系统开发语言，系统采集器和插件采集器通过热插拔的方式集成进来，按需开启。所以agent对整个系统的资源开销影响是极小的；

四、高安全性：agent和平台之间的通信，采用https协议，通信过程中数据保证不被泄露。

五、环境独立：agent运行的时候，不会对客户物理主机上或者是虚拟主机上的应用和环境产生任何影响。

六、可扩展性：本发明定义了一个通用的通信框架，定义了一个标准的通信协议，架构方面可以方便水平扩展，使得集成更多的插件，集成更多的调用链数据，集成更多来源的日志信息变得简单。

附图说明

图1为agent采集器整体架构图；

图2为agent采集器模块之间数据流向图；

图3为agent采集器数据容灾图。

具体实施方式

本发明定义一种基于一栈式集成异构技术采集方案。如图1和图2所示，该系统包括：数据采集层，数据预计算层，数据缓存层，数据融合层和数据发送层。其中，数据采集层由各个不同的采集模块构成；数据预计算层由一组通用的计算因子框架构成；数据缓存层由一块内存空间(不超过100MB)组成。数据融合层由一系列数据格式转化规则组成。数据发送层由一个连接资源池构成。

一.数据采集

数据采集由各个不同的采集模块构成。从大的模块分为应用系统调用链模块，性能指标插件模块和日志采集模块。应用系统调用链模块，分为不同语言的探针。Java/Python/.NET各个语言模块都有自己的语言探针。安装agent的时候，通过自动发现语言技术栈的方式，将探针自动注入到应用服务进程中。应用探针支持对不同的框架进行自动埋点。将系统关键部分的调用链信息以及性能指标信息采集出来。其中，插件采集模块能够将不同层面的中间件服务通过各自的客户端模块采集相应的性能指标数据。通过热插拔的方式，一个插件只需要通过一定的标准实现具体的采集动作即可。插件的采集连接，通过自定义的客户端连接来实现。日志采集通过在配置文件中指定某一类文件路径，并且通过模式匹配的方式定向采集指定文件的内容。

二.数据预计算

数据预计算层由不同的计算因子模块构成。通常一个计算因子管理不同类型指标的计算处理。从功能采集模块来划分，CPU指标采集模块和内存指标采集模块是两个不同的采集库。从指标类型来划分，count，gauge，rate，histogram，distribution分别对应不同的计算因子。每个计算因子都有其相应的计算方式和函数处理。count(计数)将一定范围内采集到的离散点进行个数累加。gauge将一定时间范围内的离散点选取最后一个值输出。rate将一个时间范围内的某个特征值出现的次数占据总数的比率输出。histogram将一个时间范围内的离散值按照每个有效值的个数分布输出。distribution将一个时间范围内的离散值从小到大排序后按照某个分位点输出。通常默认情况下，我们将时间范围设置为1分钟。

三.数据缓存

数据缓存层由一块内存空间构成，这块内存空间的占用绝大情况下不超过100MB。通常由数据采集层采集到的可观测数据，会直接存入数据缓存层。数据预计算层的数据来源于数据缓存层。通过一个定时任务，将数据缓存层一个时间段的数据取出。通常这个定时任务1分钟执行一次，将1分钟之内采集到的数据全量取出。

四.数据融合

数据融合层由不同的数据清洗转化规则构成。主要包括指标转化规则和调用链数据转化规则。通常不同语言级别的探针Java/Python/C/C++/.NET采集到的调用链数据，会存在不同的语言特性。通过统一的转换方式，将不同的语言特性信息映射到同一个语义和命名空间中。从而实现对调用链数据的统一清洗转化。一条标准调用链数据中，包括主机名，调用链id，资源路径，spanId，调用开始时间，是否发生错误，调用类型，调用产生延时，调用链节点所在的服务名，调用发生的时间戳。通过对不同插件的指标采集结果进行标准化，以及统一打标处理。可以将各个差异化的中间件服务性能指标数据统一采集上来。一条标准指标数据中，包括指标名，指标值，主机名，指标采集时间间隔，指标类型还有当时的时间戳。

通常数据融合层的输入是数据缓存层或者数据预计算层。调用链数据从采集层采集得到以后，首先进入数据缓存层，然后再通过数据融合层。中间件性能指标数据，由采集层得到，首先进入缓存层，然后进入预计算层，接下来进入数据融合层。

五.数据发送

数据发送层由一个连接池资源池组成。这个资源连接池由至少5个https连接构成，用于同一台主机上数据高并发传输到后台。agent会全局设置一个定时器，数据融合层定时拉取数据缓存层的数据。处理过后的数据，直接推送给数据发送层发送处理。这里涉及到当发送失败的时候，需要从数据缓存层里面将数据重放出来。数据重放的时候，通过一定的时间间隔，将数据缓存层的数据重新拉取出来处理。首先进入数据融合层，经过统一处理后，再通过数据发送层将数据发送出去。同时，将缓存相应的数据清空。默认情况下，定时器的时间间隔为1分钟。

六.数据容灾

agent在设计实现时考虑到缓存机制用于容灾。agent通过内存+磁盘文件组合构造出两级缓存结构用于异常上报时的容灾。agent数据处理模块将数据做一定的规整和聚合之后推送到我们的预先申请的内存队列中，同时agent有一个数据转发器不停的在读取内存队列中的数据进行发送，确认发送成功后数据才会从队列中移除。当agent因为网络故障或其他缘故导致数据上报失败，数据采集模块还是继续进行采集工作，当内存队列空间被占满，之后在有数据采集时将会按照时间顺序后进先出的方式按照一定的序列化格式写入到指定磁盘文件中，为了尽可能的保障用户的业务，文件大小是预先配置好的，如果agent问题一直没有被解决早期的数据将会被丢弃。数据转发器发送频率会逐渐降低，最终稳定在一小时一次尝试，等待下一次尝试成功后，会恢复到最初的发送频率。最终缓存的文件个数也可以有多个，会进行打包压缩处理尽可能减少空间占用，同时磁盘文件也会被设置时间限制，会进行定期清理。整个流程见图3。

七.调用链数据采样

trace agent的采集实现是基于OpenTracing标准规范，输出的调用链路数据都是标准的，可直接对接到各种平台的。trace agent主要实现了trace、logs、profile、指标、插件模块的采集，当中每一项采集都可以通过配置进行控制是否启用采集，同时插件模块的采集可以通过对插件模块的关键字配置控制是否启用采集，实现对数据采集的细粒度控制。trace agent性能管控，除了通过以上配置完成采集内容的控制之外，trace agent对采样比例也有相关的策略，正常业务相对平缓的情况下我们采用1比1的采样比例，每次访问都会生成调用链；当用户业务繁忙时,trace agent会适当降低采样比例，尽可能减少对业务的影响。我们设置当用户的业务系统每分钟调用量大于1000，将采样频率设置为0.1，调用量大于5000，采样频率设置为0.05，调用量大于10000，采样频率设置为0.01。考虑到trace agent需要上报数据，为了减少网络IO的占用，上报前会对数据进行一定的压缩打包工作，一次上报尽可能多的数据，同时会限制上报超时时间在1-2秒以内，尽快释放资源，减少对主机资源的占用。

八.数据指标标准化过程

agent在采集数据时定义了一种标准的格式与规范，基于这种标准可以做到系统、中间件及三方平台等非标的数据统一采集能力。

agent在定义一个指标时都有一个类型，并且之后不能修改，修改后会让之前的数据失去原本的意义。agent作为最终上报数据中心的模块，主要由agent插件模块、APMagent模块、agent提供的http API三方接入模块上报给agent统一处理。数据类型：

Count，表示一个时间间隔内事件发生的总数，用于计数；

Rate，表示一个时间间隔内每秒发生的事件总数，用于采集事件的频率；

Gauge,表示一个时间间隔内采集的最后一个值，用于计量资源的使用情况；

Histogram,表示一个时间间隔内agent计算一组值的统计分布情况，用于计算指标的平均数、总数、中位数、95百分位、最大值；

Distribution,表示一个时间间隔内跨整个分布式基础架构计算的一组值的全局统计分布情况，用于独立于底层主机检测逻辑对象，如服务；

数据结构：agent的数据都是时序的，每条数据包含有指标名、时间戳(秒级)、值、类型、标签等核心字段。标签定义，agent在采集层设计时考虑到指标的自动打标签抽象，实现采集器时除了值本身，应当把值来源的其他属性相关信息作为标签添加到该条数据，同时agent本身的信息也会被追加进标签，如主机名、agent版本。

数据结构示例：

插件数据采集过程，首先确认数据源，这里是没有规范的，如操作系统指定文件、操作系统命令返回值、接口、通讯协议，之后设置采集间隔，定时触发采集方法，采集的指标是预先设计好的包括类型，有些指标不是原始数据的，需要进行数据边缘计算，这里有缓存机制用于保存少量的历史采集数据，方便运算，同时在采集过程中把相关的标签都设置上去，此时获得插件采集的原始数据，统一丢进agent数据处理队列中。agent队列的设计也考虑到缓存容灾，agent通过内存+磁盘文件组合构造出两级缓存结构用于异常上报时的容灾。agent数据处理模块将数据做一定的规整和聚合之后推送到我们的预先申请的内存队列中，同时agent有一个数据转发器不停的在读取内存队列中的数据进行发送，确认发送成功后数据才会从队列中移除。当agent因为网络故障或其他缘故导致数据上报失败，数据采集模块还是继续进行采集工作，当内存队列空间被占满，之后在有数据采集时将会按照时间顺序后进先出的方式按照一定的序列化格式写入到指定磁盘文件中，为了尽可能的保障用户的业务，文件大小是预先配置好的，如果agent问题一直没有被解决早期的数据将会被丢弃。数据转发器发送频率会逐渐降低，最终稳定在一小时一次尝试，等待下一次尝试成功后，会恢复到最初的发送频率。最终缓存的文件个数也可以有多个，会进行打包压缩处理尽可能减少空间占用，同时磁盘文件也会被设置时间限制，会进行定期清理。数据打包，agent考虑到对数据中心访问频率的控制，都是间隔固定的时间进行一次数据上报的，考虑到上报包体太大容易涉及到断点续传问题，这里每个包大小固定4M以内，如果单次上报间隔内数据过多，将会分包进行上报，同时为了尽可能减少对主机网络IO占用，会对包体进行常规压缩处理，减少包体占用空间。

数据打包后的数据样例：

下面我们举两个具体的例子来说明指标的采集和标准转化的过程。

系统CPU采集，这里我们在采集linux的cpu信息时，我们将读取/proc/cpuinfo文件，当前场景下该文件就是源数据，通过一系列解析，获得指定的指标数据及相关标签，有些数据需要做聚合或者连续采集的，将会保存多次采集的数据到缓存，用于聚合运算得到目标指标。

Mysql插件采集，先确认要采集的指标内容数据源，目前我们定义的mysql指标，数据源在数据库内，此时的指标采集就需要连接数据库，通过一系列命令或SQL完成对数据的获取，然后进行处理，处理成指标的数据结构，最终上报到队列，等待最终的处理和上报。

示例：

Mysql采集最大错误连接数指标

通过mysql连接，执行“show global status like'Connection_errors_accept'；”语句查询结果；获得结果Connection_errors_accept＝10

转化成我们的初始指标：

在数据发送到后台的过程中，我们再次转化指标：

其中，数据里面的tags字段是自动打标的结果。通过获取系统的运行环境，主机环境来将标签赋予到每一条数据中。例如：

系统信息，agent所在主机的信息。

数据源信息，如mysql的连接信息、sql查询语句。

九.agent边缘计算模块

agent设计时还考虑到在边缘端进行简单的数据运算，以便在主机层面就可以做一部分异常检测能力。平台下发的数据运算逻辑，包含原始指标、表达式、最终结果指标，agent接收到之后找到对应的原始数据，这里的原始数据是指刚完成采集的指标数据，可能是多个指标组合的逻辑，通过表达式或算法得出最终结果，生成新的指标结果进行上报。

例如，当我们采集到指标：

通过在agent进行表达式运算metric[mysql.connection.error_accept].value>5？1:0；

我们可以得到边缘计算结果：

这个结果直接说明在一个时间点客户端连接mysql的时候，连续出现了大于5次连接异常，所以可以判定在这种情况下，mysql实例的状态是异常的。

Claims (6)

1.一种基于一栈式集成技术的agent采集方法，其特征在于，包括以下步骤：

1)数据采集模块采集调用链信息、云服务主机和云服务中间件的性能指标信息、云服务主机的状态，以及应用日志；

2)将调用链信息、云服务主机和云服务中间件的性能指标信息、云服务主机的状态以及应用日志输入到数据缓冲模块；

3)数据融合模块将调用数据缓冲模块的数据进行融合，得到融合后的数据；

将融合后的数据中的性能指标信息进行数值聚合计算，再预计算得到各个数据点，再进行数据整理，得到预计算后的性能指标信息；

4)将步骤3)数据融合模块融合后的数据以及预计算后的性能指标信息存入数据缓冲模块，将融合后的数据不断存入内存队列，当内存队列空间已满，将之后的融合后的数据写入磁盘文件队列；

5)步骤4)中数据缓冲模块的内存队列发送给数据发送模块，数据发送模块将数据发送到数据中心，并收到数据中心返回的成功状态码，数据发送模块发送成功后将发送成功的数据移除。

2.根据权利要求1所述的基于一栈式集成技术的agent采集方法，其特征在于，步骤1)中，采集包括：

agent作为上报数据中心的模块，由agent插件模块、APM agent模块、agent提供的httpAPI三方接入模块上报给agent统一处理。

3.根据权利要求1所述的基于一栈式集成技术的agent采集方法，其特征在于，步骤3)中，预计算具体包括：

Count，表示一个时间间隔内事件发生的总数，用于计数；

Rate，表示一个时间间隔内每秒发生的事件总数，用于采集事件的频率；

Gauge,表示一个时间间隔内采集的最后一个值，用于计量资源的使用情况；

Histogram,表示一个时间间隔内agent计算一组值的统计分布情况；

Distribution,表示一个时间间隔内跨整个分布式基础架构计算的一组值的全局统计分布情况。

4.根据权利要求1所述的基于一栈式集成技术的agent采集方法，其特征在于，数据整理具体包括：

将各个数据点根据标签、指标名进行分类。

5.根据权利要求1所述的基于一栈式集成技术的agent采集方法，其特征在于，步骤4)中，数据缓冲模块包括：内存队列和磁盘文件队列。

6.一种实现权利要求1～5任一项所述的基于一栈式集成技术的agent采集方法的系统，其特征在于，包括：

数据采集模块，用于采集调用链信息、云服务主机和云服务中间件的性能指标信息、云服务主机的状态，以及应用日志；

第一数据缓冲模块，用于接收数据采集模块传输的调用链信息、云服务主机和云服务中间件的性能指标信息、云服务主机的状态以及应用日志；

数据融合模块，用于将调用第一数据缓冲模块的数据进行融合，得到融合后的数据；

数据预计算模块，用于将数据融合模块融合后的数据中的性能指标信息进行数值聚合计算，再预计算得到各个数据点，再进行数据整理，得到预计算后的性能指标信息；

第二数据缓冲模块，用于存入数据融合模块融合后的数据以及数据预计算模块预计算后的性能指标信息，并将融合后的数据不断存入内存队列，当内存队列空间已满，将之后的融合后的数据写入磁盘文件队列；

数据发送模块，用于接收第二数据缓冲模块发送的内存队列，并将数据发送到数据中心，并收到数据中心返回的成功状态码，发送成功后将发送成功的数据移除。

Images