[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN112835964A - 大数据指标数据显示方法、装置、设备及计算机存储介质 - Google Patents

大数据指标数据显示方法、装置、设备及计算机存储介质 Download PDF

Info

Publication number
CN112835964A
CN112835964A CN202110110225.2A CN202110110225A CN112835964A CN 112835964 A CN112835964 A CN 112835964A CN 202110110225 A CN202110110225 A CN 202110110225A CN 112835964 A CN112835964 A CN 112835964A
Authority
CN
China
Prior art keywords
big data
index data
data
data index
big
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110110225.2A
Other languages
English (en)
Inventor
杨恺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Chenxing Software Technology Co ltd
Original Assignee
Shanghai Chenxing Software Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Chenxing Software Technology Co ltd filed Critical Shanghai Chenxing Software Technology Co ltd
Priority to CN202110110225.2A priority Critical patent/CN112835964A/zh
Publication of CN112835964A publication Critical patent/CN112835964A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/248—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/26—Visual data mining; Browsing structured data

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请提供了一种大数据指标数据显示方法、装置、设备及计算机存储介质。该大数据指标数据显示方法，包括：从推送网关组件拉取大数据指标数据；其中，大数据指标数据由大数据质量保障系统推送至推送网关组件；接收可视化工具端发送的数据查询请求；响应于数据查询请求，向可视化工具端发送大数据指标数据，以使可视化工具端查询并显示大数据指标数据。根据本申请实施例，能够从大数据质量保障系统处获取大数据指标数据，进而可使可视化工具端查询并显示该大数据指标数据，用于大数据质量保障和监控。

Description

大数据指标数据显示方法、装置、设备及计算机存储介质
技术领域
本申请属于商业化大数据监控技术领域，尤其涉及一种大数据指标数据显示方法、装置、电子设备及计算机存储介质。
背景技术
目前的大数据指标需要开发专门的前端页面展示报表信息，需要利用可视化工具，例如Grafana。但是，可视化工具不适合直接查询大数据质量保障系统以显示大数据指标数据，Prometheus存储系统目前只能通过拉取(pull)方式拉取指标，导致Prometheus存储系统无法从大数据质量保障系统处获取大数据指标数据，进而导致可视化工具端无法查询并显示大数据指标数据。
发明内容
本申请实施例提供一种大数据指标数据显示方法、装置、电子设备及计算机存储介质，能够从大数据质量保障系统处获取大数据指标数据，进而可使可视化工具端查询并显示该大数据指标数据，用于大数据质量保障和监控。
第一方面，本申请实施例提供一种大数据指标数据显示方法，包括：
从推送网关组件(pushgateway)拉取大数据指标数据；其中，大数据指标数据由大数据质量保障系统推送至推送网关组件；
接收可视化工具端发送的数据查询请求；
响应于数据查询请求，向可视化工具端发送大数据指标数据，以使可视化工具端查询并显示大数据指标数据。
可选的，推送网关组件通过调用客户端软件开发工具包(Software DevelopmentKit，SDK)以接收大数据质量保障系统推送的大数据指标数据。
可选的，在从推送网关组件拉取大数据指标数据之后，该方法还包括：
将大数据指标数据存储至时序数据库。
可选的，可视化工具端为Grafana。
第二方面，本申请实施例提供了一种大数据指标数据显示装置，包括：
拉取模块，用于从推送网关组件拉取大数据指标数据；其中，大数据指标数据由大数据质量保障系统推送至推送网关组件；
接收模块，用于接收可视化工具端发送的数据查询请求；
发送模块，用于响应于数据查询请求，向可视化工具端发送大数据指标数据，以使可视化工具端查询并显示大数据指标数据。
可选的，推送网关组件通过调用客户端软件开发工具包SDK以接收大数据质量保障系统推送的大数据指标数据。
可选的，拉取模块，还用于将大数据指标数据存储至时序数据库。
可选的，可视化工具端为Grafana。
第三方面，本申请实施例提供了一种电子设备，电子设备包括：处理器以及存储有计算机程序指令的存储器；
处理器执行计算机程序指令时实现如第一方面所示的大数据指标数据显示方法。
第四方面，本申请实施例提供了一种计算机存储介质，计算机存储介质上存储有计算机程序指令，计算机程序指令被处理器执行时实现如第一方面所示的大数据指标数据显示方法。
本申请实施例的大数据指标数据显示方法、装置、电子设备及计算机存储介质，能够从大数据质量保障系统处获取大数据指标数据，进而可使可视化工具端查询并显示该大数据指标数据，用于大数据质量保障和监控。该大数据指标数据显示方法，包括：从推送网关组件拉取大数据指标数据；其中，大数据指标数据由大数据质量保障系统推送至推送网关组件；接收可视化工具端发送的数据查询请求；响应于数据查询请求，向可视化工具端发送大数据指标数据，以使可视化工具端查询并显示大数据指标数据。可见，该方法通过将推送和拉取结合的方式，Prometheus存储系统能够从大数据质量保障系统处获取大数据指标数据，进而可使可视化工具端查询并显示该大数据指标数据，用于大数据质量保障和监控。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单的介绍，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请一个实施例提供的大数据指标数据显示方法的流程示意图；
图2是本申请另一个实施例提供的大数据指标数据显示方法的流程示意图；
图3是本申请一个实施例提供的大数据指标数据显示装置的结构示意图；
图4是本申请一个实施例提供的电子设备的结构示意图。
具体实施方式
下面将详细描述本申请的各个方面的特征和示例性实施例，为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及具体实施例，对本申请进行进一步详细描述。应理解，此处所描述的具体实施例仅意在解释本申请，而不是限定本申请。对于本领域技术人员来说，本申请可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本申请的示例来提供对本申请更好的理解。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
目前的大数据指标需要开发专门的前端页面展示报表信息，需要利用可视化工具，例如Grafana。但是，可视化工具不适合直接查询大数据质量保障系统以显示大数据指标数据，Prometheus存储系统目前只能通过拉取(pull)方式拉取指标，导致Prometheus存储系统无法从大数据质量保障系统处获取大数据指标数据，进而导致可视化工具端无法查询并显示大数据指标数据。
为了解决现有技术问题，本申请实施例提供了一种大数据指标数据显示方法、装置、电子设备及计算机存储介质。
申请人经研究发现，通过将推送和拉取结合的方式，Prometheus存储系统能够从大数据质量保障系统处获取大数据指标数据，进而可使可视化工具端查询并显示该大数据指标数据，用于大数据质量保障和监控。
下面首先对本申请实施例所提供的大数据指标数据显示方法进行介绍。
图1示出了本申请一个实施例提供的大数据指标数据显示方法的流程示意图。如图1所示，该大数据指标数据显示方法，包括：
S101、从推送网关组件拉取大数据指标数据；其中，大数据指标数据由大数据质量保障系统推送至推送网关组件。
在一个实施例中，推送网关组件通过调用客户端软件开发工具包SDK以接收大数据质量保障系统推送的大数据指标数据。
在一个实施例中，在从推送网关组件拉取大数据指标数据之后，方法还包括：将大数据指标数据存储至时序数据库。
S102、接收可视化工具端发送的数据查询请求。
在一个实施例中，可视化工具端为Grafana。
S103、响应于数据查询请求，向可视化工具端发送大数据指标数据，以使可视化工具端查询并显示大数据指标数据。
该大数据指标数据显示方法，包括：从推送网关组件拉取大数据指标数据；其中，推送网关组件接收大数据质量保障系统推送的大数据指标数据；接收可视化工具端发送的数据查询请求；响应于数据查询请求，向可视化工具端发送大数据指标数据，以使可视化工具端查询并显示大数据指标数据。可见，该方法通过将推送和拉取结合的方式，Prometheus存储系统能够从大数据质量保障系统处获取大数据指标数据，进而可使可视化工具端查询并显示该大数据指标数据，用于大数据质量保障和监控。
示例性地，如图2所示，搭建pushgateway，在规则脚本中调用自研的客户端sdk，将指标数据推送到pushgateway，然后由prometheus存储系统拉取数据存储到时序数据库中，在granfana端展示监控数据。通过pushgateway将推拉结合到一起，解决了现有技术中无法推送(push)大数据指标数据到prometheus存储系统的困难。
图3示出了本申请实施例提供的大数据指标数据显示装置的结构示意图。如图3所示，该大数据指标数据显示装置，包括：
拉取模块301，用于从推送网关组件拉取大数据指标数据；其中，大数据指标数据由大数据质量保障系统推送至推送网关组件；
接收模块302，用于接收可视化工具端发送的数据查询请求；
发送模块303，用于响应于数据查询请求，向可视化工具端发送大数据指标数据，以使可视化工具端查询并显示大数据指标数据。
通过将推送和拉取结合的方式，Prometheus存储系统能够从大数据质量保障系统处获取大数据指标数据，进而可使可视化工具端查询并显示该大数据指标数据，用于大数据质量保障和监控。
在一个实施例中，推送网关组件通过调用客户端软件开发工具包SDK以接收大数据质量保障系统推送的大数据指标数据。
在一个实施例中，拉取模块301，还用于将大数据指标数据存储至时序数据库。
在一个实施例中，可视化工具端为Grafana。
图3所示装置中的各个模块/单元具有实现图1中各个步骤的功能，并能达到其相应的技术效果，为简洁描述，在此不再赘述。
图4示出了本申请实施例提供的电子设备的结构示意图。
电子设备可以包括处理器401以及存储有计算机程序指令的存储器402。
具体地，上述处理器401可以包括中央处理器(CPU)，或者特定集成电路(Application Specific Integrated Circuit，ASIC)，或者可以被配置成实施本申请实施例的一个或多个集成电路。
存储器402可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器402可包括硬盘驱动器(Hard Disk Drive，HDD)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(Universal Serial Bus，USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器402可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器402可在电子设备的内部或外部。在特定实施例中，存储器402可以是非易失性固态存储器。
在一个实例中，存储器402可以是只读存储器(Read Only Memory，ROM)。在一个实例中，该ROM可以是掩模编程的ROM、可编程ROM(PROM)、可擦除PROM(EPROM)、电可擦除PROM(EEPROM)、电可改写ROM(EAROM)或闪存或者两个或更多个以上这些的组合。
处理器401通过读取并执行存储器402中存储的计算机程序指令，以实现上述实施例中的任意一种大数据指标数据显示方法。
在一个示例中，电子设备还可包括通信接口403和总线410。其中，如图4所示，处理器401、存储器402、通信接口403通过总线410连接并完成相互间的通信。
通信接口403，主要用于实现本申请实施例中各模块、装置、单元和/或设备之间的通信。
总线410包括硬件、软件或两者，将电子设备的部件彼此耦接在一起。举例来说而非限制，总线可包括加速图形端口(AGP)或其他图形总线、增强工业标准架构(EISA)总线、前端总线(FSB)、超传输(HT)互连、工业标准架构(ISA)总线、无限带宽互连、低引脚数(LPC)总线、存储器总线、微信道架构(MCA)总线、外围组件互连(PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(SATA)总线、视频电子标准协会局部(VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线410可包括一个或多个总线。尽管本申请实施例描述和示出了特定的总线，但本申请考虑任何合适的总线或互连。
另外，本申请实施例可提供一种计算机存储介质来实现。该计算机存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现上述实施例中的任意一种大数据指标数据显示方法。
需要明确的是，本申请并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本申请的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本申请的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。
以上所述的结构框图中所示的功能模块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时，本申请的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、ROM、闪存、可擦除ROM(EROM)、软盘、CD-ROM、光盘、硬盘、光纤介质、射频(RF)链路，等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。
还需要说明的是，本申请中提及的示例性实施例，基于一系列的步骤或者装置描述一些方法或系统。但是，本申请不局限于上述步骤的顺序，也就是说，可以按照实施例中提及的顺序执行步骤，也可以不同于实施例中的顺序，或者若干步骤同时执行。
上面参考根据本申请的实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本申请的各方面。应当理解，流程图和/或框图中的每个方框以及流程图和/或框图中各方框的组合可以由计算机程序指令实现。这些计算机程序指令可被提供给通用计算机、专用计算机、或其它可编程数据处理装置的处理器，以产生一种机器，使得经由计算机或其它可编程数据处理装置的处理器执行的这些指令使能对流程图和/或框图的一个或多个方框中指定的功能/动作的实现。这种处理器可以是但不限于是通用处理器、专用处理器、特殊应用处理器或者现场可编程逻辑电路。还可理解，框图和/或流程图中的每个方框以及框图和/或流程图中的方框的组合，也可以由执行指定的功能或动作的专用硬件来实现，或可由专用硬件和计算机指令的组合来实现。
以上所述，仅为本申请的具体实施方式，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。应理解，本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。

Claims (10)

1.一种大数据指标数据显示方法，其特征在于，包括：
从推送网关组件拉取大数据指标数据；其中，所述大数据指标数据由大数据质量保障系统推送至所述推送网关组件；
接收可视化工具端发送的数据查询请求；
响应于所述数据查询请求，向所述可视化工具端发送所述大数据指标数据，以使所述可视化工具端查询并显示所述大数据指标数据。
2.根据权利要求1所述的大数据指标数据显示方法，其特征在于，所述推送网关组件通过调用客户端软件开发工具包SDK以接收所述大数据质量保障系统推送的所述大数据指标数据。
3.根据权利要求1所述的大数据指标数据显示方法，其特征在于，在所述从推送网关组件拉取大数据指标数据之后，所述方法还包括：
将所述大数据指标数据存储至时序数据库。
4.根据权利要求1所述的大数据指标数据显示方法，其特征在于，所述可视化工具端为Grafana。
5.一种大数据指标数据显示装置，其特征在于，包括：
拉取模块，用于从推送网关组件拉取大数据指标数据；其中，所述大数据指标数据由大数据质量保障系统推送至所述推送网关组件；
接收模块，用于接收可视化工具端发送的数据查询请求；
发送模块，用于响应于所述数据查询请求，向所述可视化工具端发送所述大数据指标数据，以使所述可视化工具端查询并显示所述大数据指标数据。
6.根据权利要求5所述的大数据指标数据显示装置，其特征在于，所述推送网关组件通过调用客户端软件开发工具包SDK以接收所述大数据质量保障系统推送的所述大数据指标数据。
7.根据权利要求5所述的大数据指标数据显示装置，其特征在于，所述拉取模块，还用于将所述大数据指标数据存储至时序数据库。
8.根据权利要求5所述的大数据指标数据显示装置，其特征在于，所述可视化工具端为Grafana。
9.一种电子设备，其特征在于，所述电子设备包括：处理器以及存储有计算机程序指令的存储器；
所述处理器执行所述计算机程序指令时实现如权利要求1-4任意一项所述的大数据指标数据显示方法。
10.一种计算机存储介质，其特征在于，所述计算机存储介质上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现如权利要求1-4任意一项所述的大数据指标数据显示方法。
CN202110110225.2A 2021-01-27 2021-01-27 大数据指标数据显示方法、装置、设备及计算机存储介质 Pending CN112835964A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110110225.2A CN112835964A (zh) 2021-01-27 2021-01-27 大数据指标数据显示方法、装置、设备及计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110110225.2A CN112835964A (zh) 2021-01-27 2021-01-27 大数据指标数据显示方法、装置、设备及计算机存储介质

Publications (1)

Publication Number Publication Date
CN112835964A true CN112835964A (zh) 2021-05-25

Family

ID=75930842

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110110225.2A Pending CN112835964A (zh) 2021-01-27 2021-01-27 大数据指标数据显示方法、装置、设备及计算机存储介质

Country Status (1)

Country Link
CN (1) CN112835964A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110134488A (zh) * 2018-02-08 2019-08-16 中移(苏州)软件技术有限公司 一种容器应用监控方法及系统
CN111176937A (zh) * 2019-12-19 2020-05-19 深圳猛犸电动科技有限公司 消息中间件监控告警系统、方法、终端设备及存储介质
CN111464642A (zh) * 2020-04-01 2020-07-28 北京四维智联科技有限公司 车机消息推送的方法和装置
CN112000548A (zh) * 2020-08-20 2020-11-27 北京金山云网络技术有限公司 大数据组件的监测方法、装置及电子设备
CN112241355A (zh) * 2020-10-19 2021-01-19 恩亿科(北京)数据科技有限公司 链路追踪方法、系统、计算机可读存储介质及电子设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110134488A (zh) * 2018-02-08 2019-08-16 中移(苏州)软件技术有限公司 一种容器应用监控方法及系统
CN111176937A (zh) * 2019-12-19 2020-05-19 深圳猛犸电动科技有限公司 消息中间件监控告警系统、方法、终端设备及存储介质
CN111464642A (zh) * 2020-04-01 2020-07-28 北京四维智联科技有限公司 车机消息推送的方法和装置
CN112000548A (zh) * 2020-08-20 2020-11-27 北京金山云网络技术有限公司 大数据组件的监测方法、装置及电子设备
CN112241355A (zh) * 2020-10-19 2021-01-19 恩亿科(北京)数据科技有限公司 链路追踪方法、系统、计算机可读存储介质及电子设备

Similar Documents

Publication Publication Date Title
CN108229704B (zh) 用于推送信息的方法和装置
CN109240888B (zh) 信息抓取方法、装置、设备及介质
CN112835964A (zh) 大数据指标数据显示方法、装置、设备及计算机存储介质
CN112651514B (zh) 运维任务执行方法、装置、运维服务器及计算机存储介质
CN112734980A (zh) 车辆的故障根因信息确定方法、装置、设备及存储介质
CN116775110A (zh) 数据同步方法、装置、设备、介质及产品
CN116069751A (zh) 信息处理方法、装置、设备及计算机可读存储介质
CN118069159A (zh) 应用程序安装包的打包方法和装置
CN114118866A (zh) 数据处理方法、装置、设备及计算机存储介质
CN115238094A (zh) 基于知识图谱的指标数据分析方法、装置、设备及介质
CN114239486A (zh) 接口说明文档生成方法、装置、设备及存储介质
CN114092219A (zh) 模型验证方法、装置、电子设备和存储介质
CN112527621A (zh) 测试路径构建方法、装置、设备及存储介质
CN112817937A (zh) 大数据监控方法、装置、电子设备及计算机存储介质
CN115203207A (zh) 数据获取方法、装置、设备、介质及产品
CN114895959B (zh) 数据处理方法、装置、设备及计算机存储介质
CN118708163A (zh) 应用程序生成方法、装置、设备、介质及产品
CN113092912B (zh) 低电压穿越的标定方法及装置
CN112737841B (zh) 物联网下行数据通信控制方法、装置、设备及存储介质
CN118733619A (zh) 信息处理方法、系统、装置和电子设备
CN111381840B (zh) 应用程序更新的方法、装置和设备
CN117804791A (zh) 智能座舱的性能测试方法及相关设备
CN118694686A (zh) 流控帧的查找方法、装置及相关设备
CN117171199A (zh) 数据处理方法、装置、设备及存储介质
CN116204397A (zh) 作业运行情况监控方法、装置、设备、介质和程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210525

WD01 Invention patent application deemed withdrawn after publication