CN113505048A - 基于应用系统画像的统一监控平台及实现方法 - Google Patents
基于应用系统画像的统一监控平台及实现方法 Download PDFInfo
- Publication number
- CN113505048A CN113505048A CN202110778488.0A CN202110778488A CN113505048A CN 113505048 A CN113505048 A CN 113505048A CN 202110778488 A CN202110778488 A CN 202110778488A CN 113505048 A CN113505048 A CN 113505048A
- Authority
- CN
- China
- Prior art keywords
- data
- application system
- monitoring
- monitoring platform
- service
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 90
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000012545 processing Methods 0.000 claims abstract description 54
- 238000004458 analytical method Methods 0.000 claims abstract description 25
- 238000012423 maintenance Methods 0.000 claims abstract description 24
- 238000003860 storage Methods 0.000 claims abstract description 19
- 238000013075 data extraction Methods 0.000 claims abstract description 9
- 238000001914 filtration Methods 0.000 claims abstract description 4
- 238000012216 screening Methods 0.000 claims abstract description 4
- 238000002372 labelling Methods 0.000 claims description 32
- 238000013079 data visualisation Methods 0.000 claims description 15
- 230000002776 aggregation Effects 0.000 claims description 10
- 238000004220 aggregation Methods 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 9
- 230000000007 visual effect Effects 0.000 claims description 6
- 238000011161 development Methods 0.000 claims description 4
- 230000002452 interceptive effect Effects 0.000 claims description 4
- 238000012800 visualization Methods 0.000 claims description 4
- 238000004140 cleaning Methods 0.000 claims description 3
- 230000006835 compression Effects 0.000 claims description 3
- 238000007906 compression Methods 0.000 claims description 3
- 238000005553 drilling Methods 0.000 claims description 3
- 238000002156 mixing Methods 0.000 claims description 3
- 238000011144 upstream manufacturing Methods 0.000 claims 1
- 238000010276 construction Methods 0.000 abstract description 5
- 238000007726 management method Methods 0.000 description 15
- 230000006870 function Effects 0.000 description 10
- 230000002159 abnormal effect Effects 0.000 description 4
- 238000013024 troubleshooting Methods 0.000 description 3
- 238000007621 cluster analysis Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000012098 association analyses Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000007711 solidification Methods 0.000 description 1
- 230000008023 solidification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/32—Monitoring with visual or acoustical indication of the functioning of the machine
- G06F11/323—Visualisation of programs or trace data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于应用系统画像的统一监控平台及实现方法，属于多个云平台的监控管理领域，本发明要解决的技术问题为由于历史原因的重复建设而积累的监控系统分散，监控数据种类多，格式不统一，缺少统一的视图展现，无法辅助运维人员进行故障分析，技术方案为：该监控平台包括，数据抽取处理模块，用于从原有的监控系统或业务系统直接采集数据，并进行处理；应用系统画像模块，用于系统画像，系统画像处理数据根据业务需求在监控平台进行Web端展现；数据采集模块，用于覆盖原有各云平台厂商的监控数据，原有的各云平台中未包含的数据按照规范进行新的采集；数据标准化处理模块，用于实现日志数据和指标数据的接入、解析、筛选、过滤及存储。
Description
技术领域
本发明涉及多个云平台的监控管理领域，具体地说是一种基于应用系统画像的统一监控平台及实现方法。
背景技术
政务云建设包含对外的公有云和内部办公等用到的私有云，在政务云的建设过程中，采购的各云服务商提供的云管理平台比较多，其对应的资源管理和监控平台也是由各个云服务商建设提供，既有通用的基础监控，如硬件、网络、存储资源监控等，也有专项监控，如业务系统监控、数据库监控、各种中间件监控等。各系统拥有独立的管理方式和展现方式，导致在故障发生时，缺少统一的视图汇总各类数据，无法有效辅助运维人员进行故障分析。运维人员无法直观地判断异常指标间的关联关系，需要各个系统反复查看，人为进行数据整合和分析判断，效率低下。
发明内容
本发明的技术任务是提供一种基于应用系统画像的统一监控平台及实现方法，来解决由于历史原因的重复建设而积累的监控系统分散，监控数据种类多，格式不统一，缺少统一的视图展现，无法有效辅助运维人员进行故障分析的问题。
本发明的技术任务是按以下方式实现的，一种基于应用系统画像的统一监控平台，该监控平台包括，
数据抽取处理模块，用于从原有的监控系统或业务系统直接采集数据，并进行处理；
应用系统画像模块，用于系统画像，系统画像处理数据根据业务需求在监控平台进行Web端展现，同时按照业务定义发送到告警工单系统；
数据采集模块，用于覆盖原有各云平台厂商的监控数据，原有的各云平台中未包含的数据按照规范进行新的采集；
数据标准化处理模块，用于实现日志数据和指标数据的接入、解析、筛选、过滤及存储。
作为优选，所述数据抽取处理模块的工作过程具体如下：
(1)、通过数据采集接口从原有的监控系统中抽取数据；
(2)、对抽取的数据进行数据采集格式化处理及分类别存储，并进行数据清洗、去重及压缩处理；
(3)、对各类数据签化处理；
(4)、将处理后的数据发送到应用系统画像模进行处理；
(5)、根据业务维度和时间维度对数据进行分析汇总；
(6)、将处理后的数据发送到告警工单系统进行告警判断分析，同时根据监控业务需求在统一监控平台页面进行展现。
作为优选，所述应用系统画像模块利用采集到的信息进行归类及标签化处理，具体如下：
结合CMDB的资产数据和业务调用关系数据进行关联处理：具体如下：
通过采集CMDB的资产配置数据和业务关系数据，获取业务系统的多层次拓扑关系；
将不同对象的关键指标关联到业务拓扑的具体节点；
通过流处理框架的实时聚合计算，最终汇聚出业务拓扑图上的各种关键指标数据，实现了报表可配置化，监控场景定制化功能，摆脱了监控场景变化对于系统研发人员的依赖；
建模后进行标签化处理：对各种硬件和软件按照物理类属性、配置类属性、运行数据类属性、运维数据类属性及智能化属性对应用画像系统进行标签化处理；其中，硬件包括网络、云服务器及云服物理主机；软件包括操作系统、数据库及中间件。
更优地，所述标签化处理分为手工打标签及机器打标签；
其中，手工打标签是根据运维经验和规范设置标签字典，在采集数据的时候通过数据关联字典查询形成，例如设备厂家信息为物理存在的，不可修改的属性，云服务器的ip地址是配置属性；
机器打标签是通过性能数据和应用访问关联关系进行标签化，例如根据日志信息、性能数据、故障频率对设备(软件)通过关键词提取、聚类分析，然后标签化，例如稳定性，访问频率；机器打标签通过手工矫正。
更优地，标签化处理后的数据按照标签、数及值排序，按照分析场景进行聚合及归一化处理，形成有序、规范的数据。
作为优选，所述Web端利用基础表格、报表及Echart组件进行定制化场景展示数据，提供直观、生动、可交互、可高度个性化定制的数据可视化图表；
其中，数据可视化图表支持图与图之间的混搭，应用相关数据沉淀成各种维度的分析报表；数据可视化图表包括折线图、柱状图、散点图、饼图、k线图、用于统计的盒形图、用于地理数据可视化的地图、热力图及线图、用于数据关系可视化的关系图、treemap、多维数据可视化的平行坐标、用于BI的漏斗图及仪表盘。
作为优选，所述数据采集模块采集的信息包括基础命令信息、平台信息及中间件信息；基础命令信息包括curl、ping及snmp；平台信息包括openstack、vmware及ceph；中间件信息包括oracle、mysql及Nginx。
一种基于应用系统画像的统一监控平台的实现方法，该实现方法步骤如下：
S1、定义标准接口，实现现有的云平台的数据标准化，展现标准化；具体为：，通过定义统一接口和数据采集实现对政务云中多个平台的统一监控管理；包含对负载均衡设备、网络设备、服务器、存储设备、安全设备、数据库、中间件及应用软件等IT资源的全面监控管理；
S2、根据定制的标准，通过浪潮的数据湖产品和现有云平台的数据进行对接，采集需要进行监管的云平台历史数据，采集数据包含平台基础信息，软件硬件性能数据；数据分发到应用系统画像模块和告警工单系统处理；
S3、部署应用系统画像模块，将采集的数据进行聚合计算、标签化处理；数据标签化以后分发到数据标准化处理模块和告警工单系统；
S4、部署web端，实现数据的统一展现。
作为优选，利用开源组件skywalking加上浪潮的数据湖产品采集海量的调用链日志信息存入Elasticsearch，通过流处理框架实时分析调用链日志的上下游关系和关键指标的聚合计算，最终通过Echarts定制开发前端实现调用链拓扑关系的展示，并支持下钻到具体服务查看关键指标趋势和告警信息。
一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行时，实现如上述的基于应用系统画像的统一监控平台的实现方法。
本发明的基于应用系统画像的统一监控平台及实现方法具有以下优点：
(一)本发明主要应用于解决重复建设，已有系统分散，监控指标分析单一无法做到业务关联分析，场景化分析不足的问题，实现统一监控，高效运维的目的；
(二)本发明把分散于多个系统中的数据形成统一视图，建立业务视角的指标分析，解决指标的单一展现问题，实现指标的纵深交互分析，分析场景定制和场景固化功能；运用成熟的数据可视化工具、业务拓扑图来实现跨系统指标的统一监控视图，通过业务系统画像来实现业务指标和基础指标的关联，通过调用链路跟踪来实现纵深交互的分析能力，实现专有场景下的定制化监控；
(三)本发明将不同系统的关键指标综合展示到一个统一的界面中，关联实时告警数据进行业务节点的告警提示。实现了多系统指标数据集中管控及治理，丰富了监控指标体系，支撑从技术架构、业务流程的角度，实现端到端的监控，从业务、到应用、到功能、再到系统层面全方位的立体监控，让运维人员能够快速获得可用于故障(告警)处理决策的信息，使系统故障尽快恢复，提升运维效率；
(四)本发明中的统一监控平台通过统一数据管控和展现实现实现端到端的监控，从业务、到应用、到功能、再到系统层面全方位的立体监控；将所有业务系统中所涉及的网络资源、硬件资源、软件资源、数据库资源等纳入统一的运维监控平台中，并通过消除管理软件的差别，数据采集手段的差别，对各种不同的数据来源实现统一管理、统一规范、统一处理、统一展现、统一用户登录、统一权限控制，最终实现运维规范化、自动化、智能化的大运维管理；
(五)统一web视图实现了展现标准化，可定制化，运维人员无需来回切换多个系统进行手工获取数据，可以缩短问题定位时间；
(六)对于应用系统画像模块，根据业务需求实现了业务系统画像，整合业务架构拓扑、关键业务监控指标，将数据集中关联展示，基于系统-组件-服务器，一键进行运维数据的上下文关联查询，通过趋势对比查看，实现端到端的全方位立体化监控；
(七)本发明实现了完整的单笔调用跟踪、可视化调用关系统计展示以及与性能指标的实时动态关联，单笔调用链日志的快速检索，配合前端定制开发可以实现异常调用链信息的下钻分析，下钻即可展示关键指标异常的调用链明细日志，通过时间序列的方式展示的调用链信息能够直观的发现调用异常的节点；
(八)本发明针对政务云中的监控场景的定制化，业务系统的画像分析，实现了多系统指标数据集中管控及治理，丰富了监控指标体系，支撑从技术架构、业务流程的角度，实现端到端的监控，从业务、到应用、到功能、再到系统层面全方位的立体监控。
附图说明
下面结合附图对本发明进一步说明。
附图1为基于应用系统画像的统一监控平台的示意图；
附图2为数据抽取处理模块的工作过程的示意图。
具体实施方式
参照说明书附图和具体实施例对本发明的基于应用系统画像的统一监控平台及实现方法作以下详细地说明。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接连接，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
实施例1：
如附图1所示，本发明的基于应用系统画像的统一监控平台，该监控平台包括，
数据抽取处理模块，用于从原有的监控系统或业务系统直接采集数据，并进行处理；
应用系统画像模块，用于系统画像，系统画像处理数据根据业务需求在监控平台进行Web端展现，同时按照业务定义发送到告警工单系统；
数据采集模块，用于覆盖原有各云平台厂商的监控数据，原有的各云平台中未包含的数据按照规范进行新的采集；
数据标准化处理模块，用于实现日志数据和指标数据的接入、解析、筛选、过滤及存储；具备适配各种日志文件、系统事件、指标、数据库等多种数据源的优点，采集后的数据进行格式化后存储到统一监控平台的数据库。将所有业务系统中所涉及的网络资源、硬件资源、软件资源、数据库资源等纳入统一的运维监控平台中，并通过消除管理软件的差别，数据采集手段的差别，对各种不同的数据来源实现统一管理、统一规范、统一处理。
如附图2所示，本实施例中的数据抽取处理模块的工作过程具体如下：
(1)、通过数据采集接口从原有的监控系统中抽取数据；
(2)、对抽取的数据进行数据采集格式化处理及分类别存储，并进行数据清洗、去重及压缩处理；
(3)、对各类数据签化处理；
(4)、将处理后的数据发送到应用系统画像模进行处理；
(5)、根据业务维度和时间维度对数据进行分析汇总；
(6)、将处理后的数据发送到告警工单系统进行告警判断分析，同时根据监控业务需求在统一监控平台页面进行展现。
本实施例中的应用系统画像模块利用采集到的信息进行归类及标签化处理，具体如下：
(一)、结合CMDB的资产数据和业务调用关系数据进行关联处理：具体如下：
①、通过采集CMDB的资产配置数据和业务关系数据，获取业务系统的多层次拓扑关系；
②、将不同对象的关键指标关联到业务拓扑的具体节点；
③、通过流处理框架的实时聚合计算，最终汇聚出业务拓扑图上的各种关键指标数据，实现了报表可配置化，监控场景定制化功能，摆脱了监控场景变化对于系统研发人员的依赖；
(二)、建模后进行标签化处理：对各种硬件和软件按照物理类属性、配置类属性、运行数据类属性、运维数据类属性及智能化属性对应用画像系统进行标签化处理；其中，硬件包括网络、云服务器及云服物理主机；软件包括操作系统、数据库及中间件。
本实施例中的标签化处理分为手工打标签及机器打标签；
其中，手工打标签是根据运维经验和规范设置标签字典，在采集数据的时候通过数据关联字典查询形成，例如设备厂家信息为物理存在的，不可修改的属性，云服务器的ip地址是配置属性；
机器打标签是通过性能数据和应用访问关联关系进行标签化，例如根据日志信息、性能数据、故障频率对设备(软件)通过关键词提取、聚类分析，然后标签化，例如稳定性，访问频率；机器打标签通过手工矫正。
标签化处理后的数据按照标签、数及值排序，按照分析场景进行聚合及归一化处理，形成有序、规范的数据。
本实施例中的Web端利用基础表格、报表及Echart组件进行定制化场景展示数据，提供直观、生动、可交互、可高度个性化定制的数据可视化图表；
其中，数据可视化图表支持图与图之间的混搭，应用相关数据沉淀成各种维度的分析报表；数据可视化图表包括折线图、柱状图、散点图、饼图、k线图、用于统计的盒形图、用于地理数据可视化的地图、热力图及线图、用于数据关系可视化的关系图、treemap、多维数据可视化的平行坐标、用于BI的漏斗图及仪表盘。
本实施例中的数据采集模块采集的信息包括基础命令信息、平台信息及中间件信息；基础命令信息包括curl、ping及snmp；平台信息包括openstack、vmware及ceph；中间件信息包括oracle、mysql及Nginx。
实施例2：
本发明的基于应用系统画像的统一监控平台的实现方法，该实现方法步骤如下：
S1、定义标准接口，实现现有的云平台的数据标准化，展现标准化；具体为：，通过定义统一接口和数据采集实现对政务云中多个平台的统一监控管理；包含对负载均衡设备、网络设备、服务器、存储设备、安全设备、数据库、中间件及应用软件等IT资源的全面监控管理；
S2、根据定制的标准，通过浪潮的数据湖产品和现有云平台的数据进行对接，采集需要进行监管的云平台历史数据，采集数据包含平台基础信息，软件硬件性能数据；数据分发到应用系统画像模块和告警工单系统处理；
S3、部署应用系统画像模块，将采集的数据进行聚合计算、标签化处理；数据标签化以后分发到数据标准化处理模块和告警工单系统；
S4、部署web端，实现数据的统一展现。
其中，利用开源组件skywalking加上浪潮的数据湖产品采集海量的调用链日志信息存入Elasticsearch，通过流处理框架实时分析调用链日志的上下游关系和关键指标的聚合计算，最终通过Echarts定制开发前端实现调用链拓扑关系的展示，并支持下钻到具体服务查看关键指标趋势和告警信息。
实施例3：
某省厅管理的业务系统、平台有九十多个，涉及了多个部门、单位。各个业务系统用户范围广、覆盖面宽、重要性高、协作单位多，且使用了浪潮、平安云、紫光政务云等多个云服务商，具有管理复杂、技术领域广、安全要求高等特点。这些场景加剧了系统统一运维、问题定位、问题解决、系统稳定运行、开发商问题修复等方面的困难度和繁琐度。多个运维监控平台在使用过程中，故障定位往往需要通过多人协作会议排查方式，故障定位场景下的数据可视化工具优化了故障排查时的工作协同方式，通过本系统中的统一集中的可视化视图展现，快速缩小问题范围，使得故障排查更有针对性，减少了盲目争论的时间，提高运维效率，提升运维质量和满意度。
通过对业务、应用、服务、设备等指标的实时采集，形成了全方位立体化的监控数据，由可视化工具把这些多维的信息，通过全景图展示出来，提高定位问题的效率，缩短故障处理时长。
在运维管理的过程中，能够根据用户的需求切实解决用户在应用过程中遇到的问题，加强对业务平台的管控，其价值主要体现在以下几个方面：
①、精准定位：基于对应用内拓扑结构、调用链、事务等多维度的分析，协助用户快速掌握应用运行状态，定位问题根源。
②、AIOps：AI对阈值进行自主检测，并依据异常检测算法和对基线性能数据的学习，及时进行性能预警和性能瓶颈预测，为用户进行资源优化提供数据支撑。
实施例4：
本发明实施例还提供了一种计算机可读存储介质，其中存储有多条指令，指令由处理器加载，使处理器执行本发明任一实施例中的基于应用系统画像的统一监控平台的实现方法。具体地，可以提供配有存储介质的系统或者装置，在该存储介质上存储着实现上述实施例中任一实施例的功能的软件程序代码，且使该系统或者装置的计算机(或CPU或MPU)读出并执行存储在存储介质中的程序代码。
在这种情况下，从存储介质读取的程序代码本身可实现上述实施例中任何一项实施例的功能，因此程序代码和存储程序代码的存储介质构成了本发明的一部分。
用于提供程序代码的存储介质实施例包括软盘、硬盘、磁光盘、光盘(如CD-ROM、CD-R、CD-RW、DVD-ROM、DVD-RAM、DVD-RW、DVD+RW)、磁带、非易失性存储卡和ROM。可选择地，可以由通信网络从服务器计算机上下载程序代码。
此外，应该清楚的是，不仅可以通过执行计算机所读出的程序代码，而且可以通过基于程序代码的指令使计算机上操作的操作系统等来完成部分或者全部的实际操作，从而实现上述实施例中任意一项实施例的功能。
此外，可以理解的是，将由存储介质读出的程序代码写到插入计算机内的扩展板中所设置的存储器中或者写到与计算机相连接的扩展单元中设置的存储器中，随后基于程序代码的指令使安装在扩展板或者扩展单元上的CPU等来执行部分和全部实际操作，从而实现上述实施例中任一实施例的功能。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (10)
1.一种基于应用系统画像的统一监控平台，其特征在于，该监控平台包括，
数据抽取处理模块，用于从原有的监控系统或业务系统直接采集数据，并进行处理；
应用系统画像模块，用于系统画像，系统画像处理数据根据业务需求在监控平台进行Web端展现；
数据采集模块，用于覆盖原有各云平台厂商的监控数据，原有的各云平台中未包含的数据按照规范进行新的采集；
数据标准化处理模块，用于实现日志数据和指标数据的接入、解析、筛选、过滤及存储。
2.根据权利要求1所述的基于应用系统画像的统一监控平台，其特征在于，所述数据抽取处理模块的工作过程具体如下：
(1)、通过数据采集接口从原有的监控系统中抽取数据；
(2)、对抽取的数据进行数据采集格式化处理及分类别存储，并进行数据清洗、去重及压缩处理；
(3)、对各类数据签化处理；
(4)、将处理后的数据发送到应用系统画像模进行处理；
(5)、根据业务维度和时间维度对数据进行分析汇总；
(6)、将处理后的数据发送到告警工单系统进行告警判断分析，同时根据监控业务需求在统一监控平台页面进行展现。
3.根据权利要求1所述的基于应用系统画像的统一监控平台，其特征在于，所述应用系统画像模块利用采集到的信息进行归类及标签化处理，具体如下：
结合CMDB的资产数据和业务调用关系数据进行关联处理：具体如下：
通过采集CMDB的资产配置数据和业务关系数据，获取业务系统的多层次拓扑关系；
将不同对象的关键指标关联到业务拓扑的具体节点；
通过流处理框架的实时聚合计算，最终汇聚出业务拓扑图上的各种关键指标数据；
建模后进行标签化处理：对各种硬件和软件按照物理类属性、配置类属性、运行数据类属性、运维数据类属性及智能化属性对应用画像系统进行标签化处理；其中，硬件包括网络、云服务器及云服物理主机；软件包括操作系统、数据库及中间件。
4.根据权利要求3所述的基于应用系统画像的统一监控平台，其特征在于，所述标签化处理分为手工打标签及机器打标签；
其中，手工打标签是根据运维经验和规范设置标签字典，在采集数据的时候通过数据关联字典查询形成；
机器打标签是通过性能数据和应用访问关联关系进行标签化，机器打标签通过手工矫正。
5.根据权利要求4所述的基于应用系统画像的统一监控平台，其特征在于，标签化处理后的数据按照标签、数及值排序，按照分析场景进行聚合及归一化处理，形成有序、规范的数据。
6.根据权利要求1所述的基于应用系统画像的统一监控平台，其特征在于，所述Web端利用基础表格、报表及Echart组件进行定制化场景展示数据，提供直观、生动、可交互、可高度个性化定制的数据可视化图表；
其中，数据可视化图表支持图与图之间的混搭，应用相关数据沉淀成各种维度的分析报表；数据可视化图表包括折线图、柱状图、散点图、饼图、k线图、用于统计的盒形图、用于地理数据可视化的地图、热力图及线图、用于数据关系可视化的关系图、treemap、多维数据可视化的平行坐标、用于BI的漏斗图及仪表盘。
7.根据权利要求1所述的基于应用系统画像的统一监控平台，其特征在于，所述数据采集模块采集的信息包括基础命令信息、平台信息及中间件信息；基础命令信息包括curl、ping及snmp；平台信息包括openstack、vmware及ceph；中间件信息包括oracle、mysql及Nginx。
8.一种基于应用系统画像的统一监控平台的实现方法，其特征在于，该实现方法步骤如下：
S1、定义标准接口，实现现有的云平台的数据标准化，展现标准化；
S2、根据定制的标准，通过浪潮的数据湖产品和现有云平台的数据进行对接，采集需要进行监管的云平台历史数据，采集数据包含平台基础信息，软件硬件性能数据；数据分发到应用系统画像模块和告警工单系统处理；
S3、部署应用系统画像模块，将采集的数据进行聚合计算、标签化处理；数据标签化以后分发到数据标准化处理模块和告警工单系统；
S4、部署web端，实现数据的统一展现。
9.根据权利要求8所述的基于应用系统画像的统一监控平台的实现方法，其特征在于，利用开源组件skywalking加上浪潮的数据湖产品采集海量的调用链日志信息存入Elasticsearch，通过流处理框架实时分析调用链日志的上下游关系和关键指标的聚合计算，最终通过Echarts定制开发前端实现调用链拓扑关系的展示，并支持下钻到具体服务查看关键指标趋势和告警信息。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行时，实现如权利要求8至9中任一所述的基于应用系统画像的统一监控平台的实现方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110778488.0A CN113505048A (zh) | 2021-07-09 | 2021-07-09 | 基于应用系统画像的统一监控平台及实现方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110778488.0A CN113505048A (zh) | 2021-07-09 | 2021-07-09 | 基于应用系统画像的统一监控平台及实现方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113505048A true CN113505048A (zh) | 2021-10-15 |
Family
ID=78012477
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110778488.0A Pending CN113505048A (zh) | 2021-07-09 | 2021-07-09 | 基于应用系统画像的统一监控平台及实现方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113505048A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114500293A (zh) * | 2022-01-12 | 2022-05-13 | 浙江鸿程计算机系统有限公司 | 一种政企商务楼宇通信业务数据处理的方法 |
| CN114492877A (zh) * | 2022-04-13 | 2022-05-13 | 北京蒙帕信创科技有限公司 | 一种业务系统的运维分析方法及装置 |
| CN114528452A (zh) * | 2022-02-18 | 2022-05-24 | 浪潮卓数大数据产业发展有限公司 | 基于烟酒销售的数据标签实现方法及系统 |
| US11921704B2 (en) | 2021-12-28 | 2024-03-05 | Vmware, Inc. | Version control interface for accessing data lakes |
| CN117707883A (zh) * | 2023-11-28 | 2024-03-15 | 中国科学院空间应用工程与技术中心 | 一种用于云平台与云上业务运行监控可视化的方法及系统 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103491354A (zh) * | 2013-10-10 | 2014-01-01 | 国家电网公司 | 一种系统运行监控可视化平台 |
| US20150074650A1 (en) * | 2013-09-06 | 2015-03-12 | Thomson Reuters Global Resources | Multivariate a/b testing of mobile applications |
| CN110457193A (zh) * | 2019-07-30 | 2019-11-15 | 深圳供电局有限公司 | 基于电力信息系统运维数据的健康画像展示方法及其系统 |
| CN110908883A (zh) * | 2019-11-15 | 2020-03-24 | 江苏满运软件科技有限公司 | 用户画像数据监控方法、系统、设备及存储介质 |
| CN111444249A (zh) * | 2020-03-03 | 2020-07-24 | 中国平安人寿保险股份有限公司 | 基于热数据的用户画像生成方法、装置、设备及存储介质 |
| CN111444236A (zh) * | 2020-03-23 | 2020-07-24 | 华南理工大学 | 一种基于大数据的移动终端用户画像构建方法及系统 |
| CN111640040A (zh) * | 2020-04-07 | 2020-09-08 | 国网新疆电力有限公司 | 基于客户画像技术的供电客户价值评价方法及大数据平台 |
| CN112148810A (zh) * | 2020-11-10 | 2020-12-29 | 南京智数云信息科技有限公司 | 一种支持自定义标签的用户画像分析系统 |
| CN112631889A (zh) * | 2020-12-31 | 2021-04-09 | 中国农业银行股份有限公司 | 针对应用系统的画像方法、装置、设备及可读存储介质 |
-
2021
- 2021-07-09 CN CN202110778488.0A patent/CN113505048A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150074650A1 (en) * | 2013-09-06 | 2015-03-12 | Thomson Reuters Global Resources | Multivariate a/b testing of mobile applications |
| CN103491354A (zh) * | 2013-10-10 | 2014-01-01 | 国家电网公司 | 一种系统运行监控可视化平台 |
| CN110457193A (zh) * | 2019-07-30 | 2019-11-15 | 深圳供电局有限公司 | 基于电力信息系统运维数据的健康画像展示方法及其系统 |
| CN110908883A (zh) * | 2019-11-15 | 2020-03-24 | 江苏满运软件科技有限公司 | 用户画像数据监控方法、系统、设备及存储介质 |
| CN111444249A (zh) * | 2020-03-03 | 2020-07-24 | 中国平安人寿保险股份有限公司 | 基于热数据的用户画像生成方法、装置、设备及存储介质 |
| CN111444236A (zh) * | 2020-03-23 | 2020-07-24 | 华南理工大学 | 一种基于大数据的移动终端用户画像构建方法及系统 |
| CN111640040A (zh) * | 2020-04-07 | 2020-09-08 | 国网新疆电力有限公司 | 基于客户画像技术的供电客户价值评价方法及大数据平台 |
| CN112148810A (zh) * | 2020-11-10 | 2020-12-29 | 南京智数云信息科技有限公司 | 一种支持自定义标签的用户画像分析系统 |
| CN112631889A (zh) * | 2020-12-31 | 2021-04-09 | 中国农业银行股份有限公司 | 针对应用系统的画像方法、装置、设备及可读存储介质 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11921704B2 (en) | 2021-12-28 | 2024-03-05 | Vmware, Inc. | Version control interface for accessing data lakes |
| CN114500293A (zh) * | 2022-01-12 | 2022-05-13 | 浙江鸿程计算机系统有限公司 | 一种政企商务楼宇通信业务数据处理的方法 |
| CN114528452A (zh) * | 2022-02-18 | 2022-05-24 | 浪潮卓数大数据产业发展有限公司 | 基于烟酒销售的数据标签实现方法及系统 |
| CN114492877A (zh) * | 2022-04-13 | 2022-05-13 | 北京蒙帕信创科技有限公司 | 一种业务系统的运维分析方法及装置 |
| CN114492877B (zh) * | 2022-04-13 | 2022-07-05 | 北京蒙帕信创科技有限公司 | 一种业务系统的运维分析方法及装置 |
| CN117707883A (zh) * | 2023-11-28 | 2024-03-15 | 中国科学院空间应用工程与技术中心 | 一种用于云平台与云上业务运行监控可视化的方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113505048A (zh) | 基于应用系统画像的统一监控平台及实现方法 | |
| CN110493348B (zh) | 一种基于物联网的智能监控报警系统 | |
| CN104407964B (zh) | 一种基于数据中心的集中监控系统及方法 | |
| CN108039957B (zh) | 复杂网络流量包智能分析系统 | |
| CN107508722B (zh) | 一种业务监控方法和装置 | |
| CN110659173A (zh) | 一种运维系统及方法 | |
| CN108197261A (zh) | 一种智慧交通操作系统 | |
| CN107958337A (zh) | 一种信息资源可视化移动管理系统 | |
| CN108763957A (zh) | 一种数据库的安全审计系统、方法及服务器 | |
| EP3278243A1 (en) | Method and system for implementing a log parser in a log analytics system | |
| CN102567531B (zh) | 一种通用的轻量级数据库状态监控方法 | |
| WO2016161381A1 (en) | Method and system for implementing a log parser in a log analytics system | |
| CN113448812A (zh) | 微服务场景下的监控告警方法及装置 | |
| CN103295155A (zh) | 证券核心业务系统监控方法 | |
| CN106951360B (zh) | 数据统计完整度计算方法和系统 | |
| CN112559237A (zh) | 运维系统排障方法、装置、服务器和存储介质 | |
| US10083070B2 (en) | Log file reduction according to problem-space network topology | |
| CN108390782A (zh) | 一种集中式应用系统性能问题综合分析方法 | |
| CN112134719A (zh) | 一种分析基站安全日志的方法和系统 | |
| CN104935444B (zh) | 异构日志系统管理配置装置及方法 | |
| CN102571424A (zh) | 一种工程事件处理方法、装置和系统 | |
| CN111884853A (zh) | 一种云环境自动化资源管理方法和系统 | |
| CN116961241B (zh) | 一种基于电网业务的统一应用监测平台 | |
| CN109947623A (zh) | 一种用于政府数据共享的监控系统及方法 | |
| CN113347036B (zh) | 利用公有云存储实现云环境旁路监控方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |