CN112965711A - 作业测试方法和装置、电子设备和存储介质 - Google Patents
作业测试方法和装置、电子设备和存储介质 Download PDFInfo
- Publication number
- CN112965711A CN112965711A CN202110240733.2A CN202110240733A CN112965711A CN 112965711 A CN112965711 A CN 112965711A CN 202110240733 A CN202110240733 A CN 202110240733A CN 112965711 A CN112965711 A CN 112965711A
- Authority
- CN
- China
- Prior art keywords
- target
- job
- data source
- data
- test
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000010998 test method Methods 0.000 title description 3
- 238000012360 testing method Methods 0.000 claims abstract description 418
- 238000012545 processing Methods 0.000 claims abstract description 104
- 238000000034 method Methods 0.000 claims abstract description 78
- 230000008569 process Effects 0.000 claims abstract description 40
- 230000000007 visual effect Effects 0.000 claims abstract description 23
- 238000004891 communication Methods 0.000 claims description 19
- 238000012800 visualization Methods 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 9
- 238000001514 detection method Methods 0.000 claims description 5
- 238000010276 construction Methods 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 abstract description 8
- 238000010586 diagram Methods 0.000 description 13
- 238000011161 development Methods 0.000 description 5
- 230000004044 response Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000013523 data management Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F8/00—Arrangements for software engineering
- G06F8/30—Creation or generation of source code
- G06F8/34—Graphical or visual programming
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Prevention of errors by analysis, debugging or testing of software
- G06F11/3668—Testing of software
- G06F11/3672—Test management
- G06F11/3684—Test management for test design, e.g. generating new test cases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Prevention of errors by analysis, debugging or testing of software
- G06F11/3698—Environments for analysis, debugging or testing of software
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
- Quality & Reliability (AREA)
- Debugging And Monitoring (AREA)
Abstract
本申请提供了一种作业测试方法和装置、电子设备和存储介质,其中,该方法包括:检测到对目标可视化界面执行的触发操作,其中,触发操作用于触发对与目标可视化界面中的目标作业流程对应的目标作业进行测试,目标作业是使用目标处理算子对目标数据源进行处理的作业;响应触发操作,选取与目标数据源对应的目标测试数据,其中,目标测试数据用于替换目标数据源;将目标作业流程和目标测试数据的目标标识信息发送给目标服务端,以使目标服务端使用目标处理算子对目标测试数据进行处理,得到目标作业的目标测试结果。通过本申请,解决了相关技术中的作业测试方式存在由于测试过程复杂导致的测试效率低、用户体验度差的问题。
Description
技术领域
本申请涉及数据处理领域,尤其涉及一种作业测试方法和装置、电子设备和存储介质。
背景技术
在实时计算平台中,用户可以拖拽算子开发作业,算子类型有三种,分别是:source(输入,表示从哪读取数据),处理算子(表示读到数据后该如何处理),sink(输出,表示处理后的数据要写到哪)。
用户开发作业时,对于一些处理特别复杂、且很可能写错的逻辑,一般情况下需要多次调整处理算子才能实现。因此,这种处理特别复杂的逻辑一般需要经过多次测试运行,即,多次从source读取真实数据,并经过处理算子,最后将数据写到sink中,然后通过数据源的查询方式去查询数据是否符合预期。
在每次测试运行的过程中,实时计算平台需要去数据管理获取到source、sink的物理地址信息,然后连接对应的source、sink,如果数据源不可用,则无法进行测试。并且,用户需要操作source、sink数据源来验证自己的处理逻辑是否符合预期,对用户不够友好。
由此可见,相关技术中的作业测试方式,存在由于测试过程复杂导致的测试效率低、用户体验度差的问题。
发明内容
本申请提供了一种作业测试方法和装置、电子设备和存储介质,以至少解决相关技术中的作业测试方式存在由于测试过程复杂导致的测试效率低、用户体验度差的问题。
根据本申请实施例的一个方面,提供了一种作业测试方法,包括:检测到对目标可视化界面执行的触发操作,其中,所述触发操作用于触发对与所述目标可视化界面中的目标作业流程对应的目标作业进行测试,所述目标作业是使用目标处理算子对目标数据源进行处理的作业;响应所述触发操作,选取与所述目标数据源对应的目标测试数据,其中,所述目标测试数据用于替换所述目标数据源;将所述目标作业流程和所述目标测试数据的目标标识信息发送给目标服务端,以使所述目标服务端使用所述目标处理算子对所述目标测试数据进行处理,得到所述目标作业的目标测试结果。
可选地,选取与所述目标数据源对应的所述目标测试数据包括:通过目标配置页面选取用于替换所述目标数据源的所述目标测试数据,其中,所述目标配置页面是在检测到所述触发操作之后弹出的、用于配置所述目标作业的测试参数的页面。
可选地,在检测到对所述目标可视化界面执行的所述触发操作之后,所述方法还包括:通过所述目标配置页面配置所述目标作业的目标测试参数,其中,所述目标测试参数包括以下至少之一:所述目标测试数据的读取速率,运行所述目标作业的计算资源。
可选地,在将所述目标作业流程和所述目标测试数据的所述目标标识信息发送给目标服务端之后,所述方法还包括:接收所述目标服务端发送的目标展示信息,其中,所述目标展示信息用于描述所述目标测试结果;通过目标展示页面展示所述目标展示信息,以在所述目标展示页面上展示所述目标测试结果。
根据本申请实施例的另一个方面,还提供了一种作业测试方法,包括:获取目标作业的目标作业流程和目标测试数据的目标标识信息,其中,所述目标作业是使用目标处理算子对第一数据源进行处理的作业,所述目标测试数据用于替换所述第一数据源;使用所述目标作业流程和所述目标标识信息,构建出所述目标作业,其中,所述目标作业中的所述第一数据源被替换为所述目标测试数据;通过目标计算引擎对所述目标作业进行测试,得到所述目标作业的目标测试结果,其中,所述目标测试结果是使用所述目标处理算子对所述目标测试数据进行处理后得到的结果。
可选地,在通过所述目标计算引擎对所述目标作业进行测试,得到所述目标作业的所述目标测试结果之后,所述方法还包括:通过目标输入接口接收所述目标计算引擎通过目标链路输入的所述目标测试结果;存储所述目标测试结果。
可选地,在使用所述目标作业流程和所述目标标识信息,构建出所述目标作业之前,所述方法还包括:将所述目标作业流程中所述第一数据源的数据源信息替换为所述目标标识信息;在所述目标作业的第二数据源未与已注册数据源关联的情况下,将所述目标作业流程中所述第二数据源的数据源信息替换为目标输出信息,得到更新后的所述目标作业流程;其中,所述第二数据源为所述目标作业的测试结果写入的数据源,目标输出信息用于指示将所述目标作业的测试结果通过所述目标链路输出到所述目标输入接口中。
可选地,在通过所述目标计算引擎对所述目标作业进行测试,得到所述目标作业的所述目标测试结果之后,所述方法还包括:向目标终端设备发送用于描述所述目标测试结果的目标展示信息,以在所述目标终端设备上展示所述目标测试结果。
根据本申请实施例的又一个方面,还提供了一种作业测试装置,包括:检测单元,用于检测到对目标可视化界面执行的触发操作,其中,所述触发操作用于触发对与所述目标可视化界面中的目标作业流程对应的目标作业进行测试,所述目标作业是使用目标处理算子对目标数据源进行处理的作业;选取单元,用于响应所述触发操作,选取与所述目标数据源对应的目标测试数据,其中,所述目标测试数据用于替换所述目标数据源;第一发送单元,用于将所述目标作业流程和所述目标测试数据的目标标识信息发送给目标服务端,以使所述目标服务端使用所述目标处理算子对所述目标测试数据进行处理,得到所述目标作业的目标测试结果。
可选地,所述选取单元包括:选取模块,用于通过目标配置页面选取用于替换所述目标数据源的所述目标测试数据,其中,所述目标配置页面是在检测到所述触发操作之后弹出的、用于配置所述目标作业的测试参数的页面。
可选地,所述装置还包括:配置单元,用于在检测到对所述目标可视化界面执行的所述触发操作之后,通过所述目标配置页面配置所述目标作业的目标测试参数,其中,所述目标测试参数包括以下至少之一:所述目标测试数据的读取速率,运行所述目标作业的计算资源。
可选地,所述装置还包括:第一接收单元,用于在将所述目标作业流程和所述目标测试数据的所述目标标识信息发送给目标服务端之后,接收所述目标服务端发送的目标展示信息,其中,所述目标展示信息用于描述所述目标测试结果;展示单元,用于通过目标展示页面展示所述目标展示信息,以在所述目标展示页面上展示所述目标测试结果。
根据本申请实施例的又一个方面,还提供了一种作业测试装置,包括:获取单元,用于获取目标作业的目标作业流程和目标测试数据的目标标识信息,其中,所述目标作业是使用目标处理算子对第一数据源进行处理的作业,所述目标测试数据用于替换所述第一数据源;构建单元,用于使用所述目标作业流程和所述目标标识信息,构建出所述目标作业,其中,所述目标作业中的所述第一数据源被替换为所述目标测试数据;测试单元,用于通过目标计算引擎对所述目标作业进行测试,得到所述目标作业的目标测试结果,其中,所述目标测试结果是使用所述目标处理算子对所述目标测试数据进行处理后得到的结果。
可选地,所述装置还包括:第二接收单元,用于在通过所述目标计算引擎对所述目标作业进行测试,得到所述目标作业的所述目标测试结果之后,通过目标输入接口接收所述目标计算引擎通过目标链路输入的所述目标测试结果;存储单元,用于存储所述目标测试结果。
可选地,所述装置还包括:第一替换单元,用于在使用所述目标作业流程和所述目标标识信息,构建出所述目标作业之前,将所述目标作业流程中所述第一数据源的数据源信息替换为所述目标标识信息;第二替换单元,用于在所述目标作业的第二数据源未与已注册数据源关联的情况下,将所述目标作业流程中所述第二数据源的数据源信息替换为目标输出信息,得到更新后的所述目标作业流程;其中,所述第二数据源为所述目标作业的测试结果写入的数据源,目标输出信息用于指示将所述目标作业的测试结果通过所述目标链路输出到所述目标输入接口中。
可选地,所述装置还包括:第二发送单元,用于在通过所述目标计算引擎对所述目标作业进行测试,得到所述目标作业的所述目标测试结果之后,向目标终端设备发送用于描述所述目标测试结果的目标展示信息,以在所述目标终端设备上展示所述目标测试结果。
根据本申请实施例的又一个方面,还提供了一种电子设备,包括处理器、通信接口、存储器和通信总线,其中,处理器、通信接口和存储器通过通信总线完成相互间的通信;其中,存储器,用于存储计算机程序;处理器,用于通过运行所述存储器上所存储的所述计算机程序来执行上述任一实施例中的方法步骤。
根据本申请实施例的又一个方面,还提供了一种计算机可读的存储介质,该存储介质中存储有计算机程序,其中,该计算机程序被设置为运行时执行上述任一实施例中的方法步骤。
在本申请实施例中,采用使用数据文件(例如,文本文件)来代替source数据源的方式,通过检测到对目标可视化界面执行的触发操作,其中,触发操作用于触发对与目标可视化界面中的目标作业流程对应的目标作业进行测试,目标作业是使用目标处理算子对目标数据源进行处理的作业;响应触发操作,选取与目标数据源对应的目标测试数据,其中,目标测试数据用于替换目标数据源;将目标作业流程和目标测试数据的目标标识信息发送给目标服务端,以使目标服务端使用目标处理算子对目标测试数据进行处理,得到目标作业的目标测试结果,由于使用数据文件来代替source数据源,可以屏蔽source数据源连接过程,从而可以实现简化作业的测试流程的目的,达到了提高作业运行快捷性、提高作业测试效率、提升用户体验度的技术效果,进而解决了相关技术中的作业测试方式存在由于测试过程复杂导致的测试效率低、用户体验度差的问题。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理。
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是根据本申请实施例的一种可选的作业测试方法的硬件环境的示意图;
图2是根据本申请实施例的一种可选的作业测试方法的流程示意图;
图3是根据本申请实施例的一种可选的作业测试方法的示意图;
图4是根据本申请实施例的另一种可选的作业测试方法的流程示意图;
图5是根据本申请实施例的又一种可选的作业测试方法的流程示意图;
图6是根据本申请实施例的一种可选的作业测试方法的示意图;
图7是根据本申请实施例的一种可选的作业测试装置的结构框图;
图8是根据本申请实施例的另一种可选的作业测试装置的结构框图;
图9是根据本申请实施例的一种可选的电子设备的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分的实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
根据本申请实施例的一个方面,提供了一种作业测试方法。可选地,在本实施例中,上述作业测试方法可以应用于如图1所示的由终端102和服务器104所构成的硬件环境中。如图1所示,服务器104通过网络与终端102进行连接,可用于为终端或终端上安装的客户端提供服务(如游戏服务、应用服务等)。在应用时,可以在服务器上或独立于服务器设置数据库,用于为服务器104提供数据存储服务。
上述网络可以包括但不限于以下至少之一:有线网络,无线网络。上述有线网络可以包括但不限于以下至少之一:广域网,城域网,局域网,上述无线网络可以包括但不限于以下至少之一:WIFI(Wireless Fidelity,无线保真),蓝牙。终端102可以并不限定于为PC、手机、平板电脑等。
本申请实施例的作业测试方法可以由服务器104来执行,也可以由终端102来执行,还可以是由服务器104和终端102共同执行。其中,终端102执行本申请实施例的作业测试方法也可以是由安装在其上的客户端来执行。
以由终端102来执行本实施例中的作业测试方法为例,图2是根据本申请实施例的一种可选的作业测试方法的流程示意图,如图2所示,该方法的流程可以包括以下步骤:
步骤S202,检测到对目标可视化界面执行的触发操作,其中,触发操作用于触发对与目标可视化界面中的目标作业流程对应的目标作业进行测试,目标作业是使用目标处理算子对目标数据源进行处理的作业。
本实施例中的作业测试方法可以应用于实时计算网络架构等具有作业测试功能的网络架构,在该网络架构中,可以对用户开发的作业的处理逻辑进行单元测试。在开发作业时,只是假设用户开发的作业的处理逻辑在用户定义的输出下会产生对应的结果。为了验证作业的处理逻辑的正确性,可以使用单元测试对用户开发的作业进行测试。
以实时计算网络架构为例,该实时计算网络架构可以包括实时计算平台、实时计算服务和实时计算引擎,其中,实时计算平台可以运行在终端设备侧,实时计算服务可以运行在服务器端,实时计算引擎即可以运行在终端设备侧,也可以运行在服务器端。
实时计算平台可以是提供给用户构建实时计算作业能力的用户操作平台。该实时计算平台可以有多种形式,例如,可以是大数据平台。对于用户而言,用户只能感知到实时计算平台。实时计算服务是一个后台服务,对用户无感知,其可以指代提供维护实时计算作业生命周期的相关操作的一种设备。实时计算引擎是提供实时计算服务的引擎,例如,flink(一种分布式流数据流引擎),其可以对创建的作业进行测试,得到测试结果。
需要说明的是,实时计算服务是目标服务器的一种示例,本申请中的各个实施例中由实时计算服务执行的操作可以均可以由该目标服务器执行。目标服务器可以具有多种功能,例如,执行作业(例如,实时计算作业)的生命周期的维护操作,又例如,将作业流程转换为作业的实现图,作业的实现图是计算引擎可识别的作业处理逻辑(作业处理流程)。本实施例中对于目标服务器不作限定。
本实施例中的作业测试方法可以是由实时计算平台侧的终端设备执行的,该终端设备运行的可以使Linux系统(一种操作系统)。在该终端设备上可以显示有可视化界面,该界面可以是用户开发页面。用户可以在该可视化界面上拖拽算子开发作业,算子类型有多种,可以包括但不限于:source数据源,处理算子,sink数据源。
对于目标用户(对应于目标对象),目标用户的目标终端设备上可以显示有目标可视化界面。按照目标作业的处理逻辑,目标用户可以将source数据源、处理算子以及sink数据源这些算子拖拽到可视化界面的目标区域内,并将它们连线,算子中间的连线代表着数据的流向,连线后就形成了一个数据流程图,即,目标作业流程。
目标作业流程指示的作业处理流程为:从目标数据源(即,source数据源,输入数据源)读取数据,使用目标处理算子对读取的数据进行处理,目标处理算子的结果会存储到输出数据源(sink数据源)。对应地,目标作业是使用目标处理算子对目标数据源进行处理的作业。按照处理逻辑的不同,不同的作业可以使用任意的数据源。对于目标作业,目标数据源的数量可以为一个或多个,输出数据源的数量也可以为一个或多个。
在构建好目标作业的目标作业流程之后,目标用户可以对目标可视化界面执行触发操作,触发操作可以是单个操作或者多个操作的组合,例如,点击操作、双击操作、拖拽操作等。例如,点击目标可视化界面上的目标按钮,例如,“单元测试”按钮,以触发对目标作业进行测试。
目标终端设备可以检测到目标对象(与目标用户对应,可以通过目标帐号、终端设备号等进行标识)对目标可视化界面执行的上述触发操作。响应该触发操作,目标终端设备可以触发对目标作业进行测试的流程。
步骤S204,响应触发操作,选取与目标数据源对应的目标测试数据,其中,目标测试数据用于替换目标数据源。
响应触发操作,目标终端设备可以获取目标作业流程的作业流程信息。获取到的作业流程信息可以包含多个,例如,目标数据源的属性信息(例如,目标数据源的标识信息)、目标处理算子的属性信息、输出数据源的属性信息。
相关技术中,source数据源或sink数据源可以与已注册的数据源进行关联,已注册的数据源可以是用户提供的。首先,用户在平台内部注册数据源,注册时可以填写数据源的相关信息,例如,物理地址信息、表结构等信息;然后,在一个作业中,用户可以拖拽source和sink算子,并在其中选择这个source或sink使用哪个数据源。在选择数据源时可以根据数据源名称去选择,以便实时计算平台可以根据已注册的数据源信息查询对应数据源的物理地址、表结构等等。
上述数据源可以包括但不限于以下至少之一:kafka(一种高吞吐量的分布式发布订阅消息系统)消息队列,MySQL(一种关系型数据库管理系统),hbase(一种分布式的、面向列的开源数据库),hive(一种数据仓库工具)。
例如,如图3所示,对一个作业流程,其可以从某种物理数据源(例如,kafka消息队列)读取数据,经过复杂的sql(Structured Query Language,结构化查询语言)处理,得到该作业的测试结果,测试结果可以写入到某种物理数据源(例如,MySQL、hbase、hive等)。
此外,在一般用户场景中,用户的处理逻辑可以是:将一份数据根据不同的逻辑拆分成多份数据,然后存储到不同的数据源,用于不同的业务场景。那么,可以出现如图3中所示的处理流程,即,首先经过一个sql处理将数据拆分为两份,然后,两份数据再经过不同的sql处理,输出到相同或者不同的数据源中。
上述作业测试方式至少存在以下问题:
针对用户不够友好,用户需要操作source、sink数据源来验证自己的处理逻辑是否符合预期;
针对实时计算平台,平台需要去数据管理获取到source、sink的物理地址信息,去连接对应的source、sink,如果数据源不可用,则无法进行测试。
可选地,在本实施例中,利用目标测试数据代替目标数据源,可以屏蔽目标数据源连接过程中的问题,使得作业运行更快捷,方便测试,从而可以至少部分解决上述问题。目标测试数据可以是一个文本文件中的数据,即,目标测试数据为文本测试数据,也可以是其他类型的数据,本实施例中对此不作限定。本实施例中以文本测试数据为例进行说明。
文本测试数据可以作为一份资源上传到平台内,例如,以文本文件的方式上传到平台。在进行单元测试时,用户可以选择使用哪个文本测试数据来替换哪个source数据源。
对于目标终端设备,目标用户可以基于目标用户的操作或者默认配置选取与目标数据源对应的文本测试数据,即,目标测试数据,选取的目标测试数据可以用于替换目标数据源。
步骤S206,将目标作业流程和目标测试数据的目标标识信息发送给目标服务端,以使目标服务端使用目标处理算子对目标测试数据进行处理,得到目标作业的目标测试结果。
目标终端设备可以将目标作业流程和目标测试数据的目标标识信息发送给目标服务端,例如,目标计算服务。目标服务端可以根据目标作业流程和目标测试数据的目标标识信息,对目标作业进行整合,例如,使用目标测试数据替换目标数据源,将目标作业流程整合成目标作业的实现图。
整合好的目标作业可以通过实时计算引擎进行测试。实时计算引擎可以使用目标处理算子对目标测试数据进行处理,得到目标处理算子输出的测试结果,即,目标作业的目标测试结果。
通过上述步骤S202至步骤S206,检测到对目标可视化界面执行的触发操作,其中,触发操作用于触发对与目标可视化界面中的目标作业流程对应的目标作业进行测试,目标作业是使用目标处理算子对目标数据源进行处理的作业;响应触发操作,选取与目标数据源对应的目标测试数据,其中,目标测试数据用于替换目标数据源;将目标作业流程和目标测试数据的目标标识信息发送给目标服务端,以使目标服务端使用目标处理算子对目标测试数据进行处理,得到目标作业的目标测试结果,解决了相关技术中的作业测试方式存在由于测试过程复杂导致的测试效率低、用户体验度差的问题,提高了作业运行的快捷性,提高了作业测试效率,也提升了用户体验度。
作为一种可选的实施例,选取与目标数据源对应的目标测试数据包括:
S11,通过目标配置页面选取用于替换目标数据源的目标测试数据,其中,目标配置页面是在检测到触发操作之后弹出的、用于配置目标作业的测试参数的页面。
为了提高用户操作的便捷性,可以通过配置页面进行目标作业的测试参数的配置。在检测到上述触发操作之后,目标终端设备可以在目标可视化界面上弹出目标配置页面,该配置页面可以是配置目标作业的测试参数的页面,例如,单元测试页面。
目标用户可以在目标配置页面上填写哪个文本测试数据替换哪个source数据源。目标终端设备可以检测目标对象对目标配置页面执行的选取操作,该选取操作用于选取替换目标数据源的文本测试数据。响应该选取操作,目标终端设备可以确定用于替换目标数据源的目标测试数据。
通过本实施例,通过配置页面选取用于替换source数据源的测试数据,可以提高用户操作的便捷性,提升用户的使用体验。
作为一种可选的实施例,在检测到对目标可视化界面执行的触发操作之后,上述方法还包括:
S21,通过目标配置页面配置目标作业的目标测试参数,其中,目标测试参数包括以下至少之一:目标测试数据的读取速率,运行目标作业的计算资源。
除了选取用于替换目标数据源的测试数据以外,目标用户还可以通过目标配置页面配置目标作业的其他测试参数,例如,目标测试参数。目标测试参数可以有一种或多种,可以包括但不限于以下至少之一:目标测试数据的读取速率,运行目标作业的计算资源。
目标终端设备可以检测目标对象对目标配置页面执行的配置操作,该配置操作用于配置目标作业的目标测试参数。响应该配置操作,目标终端设备可以确定目标作业的目标测试参数。
例如,在单元测试页面上,用户还可以进行单元测试的一些特殊配置(例如,选择读取数据的速率),还可以选择运行的资源等。运行资源可以理解为计算资源,可以看成是Linux中的内存和CPU(Central Processing Unit,中央处理器),例如,1核4G。
通过本实施例,通过配置页面配置单元测试的测试参数,可以提高单元测试配置的便捷性和灵活性。
作为一种可选的实施例,在将目标作业流程和目标测试数据的目标标识信息发送给目标服务端之后,上述方法还包括:
S31,接收目标服务端发送的目标展示信息,其中,目标展示信息用于描述目标测试结果;
S32,通过目标展示页面展示目标展示信息,以在目标展示页面上展示目标测试结果。
目标服务端在得到目标测试结果之后,可以将目标展示信息发送给目标终端设备。该目标展示信息可以用于描述目标测试结果,其可以是目标测试结果本身,还可以是对目标测试结果进行一定处理之后所得到的信息,进行的处理可以有多种,例如,添加总结描述等,本实施例中对此不做限定。
接收到目标服务端发送的目标展示信息之后,目标终端设备可以通过目标展示页面展示目标展示信息,以在目标展示页面上展示出目标测试结果。该目标展示页面可以是一个文本框,也可以是其他的展示页面。
通过本实施例,通过展示页面进行测试结果的展示,可以方便用户查看作业的测试结果,提高信息获取的便捷性。
下面结合可选示例对上述作业测试方法进行说明。用户进行单元测试时,在用户角度看,用户在可视化界面上点击单元测试按钮之后,会弹出一个页面(作用同前述目标配置页面),这个页面会引导用户填写以下内容:用哪个文件测试数据替换source数据源;单元测试的一些特殊配置(例如,文本读取速率);选择运行的资源等。用户点击该页面中的“运行”按钮之后,就可以成功运行作业测试。作业测试运行完成之后,在用户界面上会出现一个文本框(目标展示页面),实时展示作业的结果,也就是处理算子输出的数据。
根据本申请实施例的另一个方面,还提供了一种作业测试方法。可选地,在本实施例中,上述作业测试方法可以应用于如图1所示的由终端102和服务器104所构成的硬件环境中。已经进行过说明的,在此不做赘述。
本申请实施例的作业测试方法可以由服务器104来执行,也可以由终端102来执行,还可以是由服务器104和终端102共同执行。其中,终端102执行本申请实施例的作业测试方法也可以是由安装在其上的客户端来执行。
以由服务器104来执行本实施例中的作业测试方法为例,图4是根据本申请实施例的另一种可选的作业测试方法的流程示意图,如图4所示,该方法的流程可以包括以下步骤:
步骤S402,获取目标作业的目标作业流程和目标测试数据的目标标识信息,其中,目标作业是使用目标处理算子对第一数据源进行处理的作业,目标测试数据用于替换第一数据源。
本实施例中的作业测试方法可以应用于前述具有作业测试功能的网络架构,例如,实时计算网络架构。已经进行过描述的,在此不做赘述。本实施例中的作业测试方法可以是由前述目标终端设备执行的,也可以是由上述实时计算服务执行的,本实施例中以由实时计算服务执行为例进行说明。
实时计算服务可以获取目标作业的目标作业流程和目标测试数据的目标标识信息,例如,接收目标终端设备通过与实时计算服务与目标终端设备之间的通信连接所传输的目标作业流程和目标标识信息。第一数据源(也就是前述目标数据源)、目标作业、目标作业流程和目标测试数据与前述类似,在此不做赘述。
步骤S404,使用目标作业流程和目标标识信息,构建出目标作业,其中,目标作业中的第一数据源被替换为目标测试数据。
实时计算服务可以使用目标作业流程和目标标识信息构建目标作业,也就是,将目标作业流程转换为目标计算引擎可执行的目标作业的实现图,该目标计算引擎可以是实时计算引擎。
在使用目标作业流程和目标标识信息构建出目标作业之前,可以将目标作业流程中第一数据源的数据源信息替换为目标标识信息,得到更新后的目标作业流程。通过上述步骤,可以将第一数据源被替换为目标测试数据。
步骤S406,通过目标计算引擎对目标作业进行测试,得到目标作业的目标测试结果,其中,目标测试结果是使用目标处理算子对目标测试数据进行处理后得到的结果。
对于构建出的目标作业,实时计算服务可以通过目标计算引擎对目标作业进行测试。如果实时计算服务和目标计算引擎位于同一设备(例如目标服务器),可以直接由该设备控制目标计算引擎对目标作业进行测试。
可选地,如果实时计算服务和目标计算引擎位于不同设备(例如,实时计算服务位于目标服务器,目标计算引擎位于另一服务器或者目标终端设备),则可以由实时计算服务将构建出的目标作业发送给目标计算引擎所在的设备,由该设备控制目标计算引擎对目标作业进行测试。
目标计算引擎可以根据目标标识信息读取目标测试数据,使用目标处理算子对目标测试数据进行处理,得到目标处理算子输出的结果,即,目标作业的目标测试结果。
需要说明的是,目标测试数据可以作为本地数据源,对应地,目标作业可以是以本地模式运行,从而可以更快速地启动目标作业的测试流程。目标终端设备可以不执行步骤S206,而直接执行步骤S402至步骤S406,或者,执行步骤S206之后执行步骤S406,即,由目标终端设备使用目标计算引擎对目标作业进行测试,得到目标作业的目标测试结果。
通过上述步骤S402至步骤S406,获取目标作业的目标作业流程和目标测试数据的目标标识信息,其中,目标作业是使用目标处理算子对第一数据源进行处理的作业,目标测试数据用于替换第一数据源;使用目标作业流程和目标标识信息,构建出目标作业,其中,目标作业中的第一数据源被替换为目标测试数据;通过目标计算引擎对目标作业进行测试,得到目标作业的目标测试结果,其中,目标测试结果是使用目标处理算子对目标测试数据进行处理后得到的结果,解决了相关技术中的作业测试方式存在由于测试过程复杂导致的测试效率低、用户体验度差的问题,提高了作业运行的快捷性,提高了作业测试效率,也提升了用户体验度。
作为一种可选的实施例,在通过目标计算引擎对目标作业进行测试,得到目标作业的目标测试结果之后,上述方法还包括:
S41,通过目标输入接口接收目标计算引擎通过目标链路输入的目标测试结果;
S42,存储目标测试结果。
目标作业的输出数据源可以是由用户预先定义的,例如,通过目标配置页面配置与第二数据源(即,目标作业的输出数据源)关联的已注册数据源,则可以将目标测试结果写入到该已注册数据源中。
可选地,如果目标作业的第二数据源未与已注册数据源关联,可以按照默认配置信息确定目标测试结果的写入位置。例如,可以通过httpsink保存目标测试结果保存到实时计算服务内。
这里,httpsink是flink计算引擎输出的一种方式,通过http(HyperTextTransfer Protocol,超文本传输协议)链路输出到某个接口中,这个接口可以是固定的,不同的测试结果可以输出到不同的接口。
对于目标测试结果,目标计算引擎可以通过目标链路(http链路)将目标测试结果输出到目标输入接口中。实时计算服务可以通过目标输入接口接收目标计算引擎通过目标链路输入的目标测试结果,并将目标测试结果存储起来。
通过本实施例,通过特定接口接收通过目标链路输入的测试结果并存储,可以简化用户操作,提高用户的使用体验。
作为一种可选的实施例,在使用目标作业流程和目标标识信息,构建出目标作业之前,上述方法还包括:
S51,将目标作业流程中第一数据源的数据源信息替换为目标标识信息;
S52,在目标作业的第二数据源未与已注册数据源关联的情况下,将目标作业流程中第二数据源的数据源信息替换为目标输出信息,得到更新后的目标作业流程;
其中,第二数据源为目标作业的测试结果写入的数据源,目标输出信息用于指示将目标作业的测试结果通过目标链路输出到目标输入接口中。
在构建目标作业之前,除了将目标作业流程中第一数据源的数据源信息替换为目标标识信息以外,如果目标作业的第二数据源未与已注册数据源关联,则可以采用默认配置信息替换目标作业流程中第二数据源的数据源信息,从而得到更新后的目标作业流程。这里,第二数据源为目标作业的测试结果写入的数据源,也就是,目标作业的输出数据源。
默认配置信息可以是目标输出信息,该目标输出信息用于指示将目标作业的测试结果通过目标链路输出到目标输入接口中,例如,目标输出信息可以是前述httpsink。
例如,在单元测试中,实时计算服务可以将source数据源替换为文件测试数据,将sink数据源替换为httpsink,并通过httpsink保存数据到实时计算服务内。
通过本实施例,通过默认输出信息替换标作业流程中输出数据源的数据源信息,可以保证测试结果写入的准确性。
作为一种可选的实施例,在通过目标计算引擎对目标作业进行测试,得到目标作业的目标测试结果之后,上述方法还包括:
S71,向目标终端设备发送用于描述目标测试结果的目标展示信息,以在目标终端设备上展示目标测试结果。
在得到目标测试结果之后,实时计算服务可以目标终端设备发送上述目标展示信息,以在目标终端设备上展示目标测试结果。在前述实施例中已经进行过描述的,在此不做赘述。
通过本实施例,通过展示页面进行测试结果的展示,可以方便用户查看作业的测试结果,提高信息获取的便捷性。
下面结合可选示例对上述作业测试方法进行说明。考虑到用户一般只关心作业中间的处理逻辑,在本示例中,使用文本文件来代替source数据源(作用同前述目标数据源,第一数据源),将处理算子的结果通过http发送给实时计算服务,并存储起来,最后再将这份结果展示给用户。
如图5所示,本可选示例中的作业测试方法的流程可以包括以下步骤:
步骤S502,用户在实时计算平台的可视化界面内拖拽算子并连线,构建作业逻辑,点击单元测试,弹出单元测试页面。
步骤S504,在单元测试页面,用户填写用哪个文件测试数据替换哪个source数据源,并选择读取数据的速率、运行资源等。
步骤S506,用户点击单元测试页面中的“运行”按钮,触发作业运行。
步骤S508,实时计算服务将source数据源替换为文件测试数据,将sink数据源替换为httpsink,并通过httpsink保存数据到实时计算服务内。
实时计算服务在将source数据源替换为文件测试数据、将sink数据源替换为httpsink之后,可以得到如图6所示的作业实现图。在图6中,作业的输入为文本测试数据,该文本测试数据由用户提供。作业的处理逻辑包括多个负责的sql处理,作业的测试结果通过httpsink保存到实时计算服务内。
步骤S510,实时计算服务通过用户的开发界面(作用同目标展示页面,例如,用户调试页面)向用户展示作业的测试结果。
通过本示例,用户只需要提供一份样例数据,就可以直观的看到作业的结果,进而更方便验证处理算子的逻辑。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本申请所必须的。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM(Read-Only Memory,只读存储器)/RAM(Random Access Memory,随机存取存储器)、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本申请各个实施例所述的方法。
根据本申请实施例的又一个方面,还提供了一种用于实施上述作业测试方法的作业测试装置。图7是根据本申请实施例的一种可选的作业测试装置的结构框图,如图7所示,该装置可以包括:
检测单元702,用于检测到对目标可视化界面执行的触发操作,其中,触发操作用于触发对与目标可视化界面中的目标作业流程对应的目标作业进行测试,目标作业是使用目标处理算子对目标数据源进行处理的作业;
选取单元704,与检测单元702相连,用于响应触发操作,选取与目标数据源对应的目标测试数据,其中,目标测试数据用于替换目标数据源;
第一发送单元706,与选取单元704相连,用于将目标作业流程和目标测试数据的目标标识信息发送给目标服务端,以使目标服务端使用目标处理算子对目标测试数据进行处理,得到目标作业的目标测试结果。
需要说明的是,该实施例中的检测单元702可以用于执行上述步骤S202,该实施例中的选取单元704可以用于执行上述步骤S204,该实施例中的第一发送单元706可以用于执行上述步骤S206。
通过上述模块,检测到对目标可视化界面执行的触发操作,其中,触发操作用于触发对与目标可视化界面中的目标作业流程对应的目标作业进行测试,目标作业是使用目标处理算子对目标数据源进行处理的作业;响应触发操作,选取与目标数据源对应的目标测试数据,其中,目标测试数据用于替换目标数据源;将目标作业流程和目标测试数据的目标标识信息发送给目标服务端,以使目标服务端使用目标处理算子对目标测试数据进行处理,得到目标作业的目标测试结果,解决了相关技术中的作业测试方式存在由于测试过程复杂导致的测试效率低、用户体验度差的问题,提高了作业运行的快捷性,提高了作业测试效率,也提升了用户体验度。
作为一种可选的实施例,选取单元704包括:
选取模块,用于通过目标配置页面选取用于替换目标数据源的目标测试数据,其中,目标配置页面是在检测到触发操作之后弹出的、用于配置目标作业的测试参数的页面。
作为一种可选的实施例,上述装置还包括:
配置单元,用于在检测到对目标可视化界面执行的触发操作之后,通过目标配置页面选取目标作业的目标测试参数,其中,目标测试参数包括以下至少之一:目标测试数据的读取速率,运行目标作业的计算资源。
作为一种可选的实施例,上述装置还包括:
第一接收单元,用于在将目标作业流程和目标测试数据的目标标识信息发送给目标服务端之后,接收目标服务端发送的目标展示信息,其中,目标展示信息用于描述目标测试结果;
展示单元,用于通过目标展示页面展示目标展示信息,以在目标展示页面上展示目标测试结果。
根据本申请实施例的又一个方面,还提供了一种用于实施上述作业测试方法的作业测试装置。图8是根据本申请实施例的另一种可选的作业测试装置的结构框图,如图8所示,该装置可以包括:
获取单元802,用于获取目标作业的目标作业流程和目标测试数据的目标标识信息,其中,目标作业是使用目标处理算子对第一数据源进行处理的作业,目标测试数据用于替换第一数据源;
构建单元804,与获取单元802相连,用于使用目标作业流程和目标标识信息,构建出目标作业,其中,目标作业中的第一数据源被替换为目标测试数据;
测试单元806,与构建单元804相连,用于通过目标计算引擎对目标作业进行测试,得到目标作业的目标测试结果,其中,目标测试结果是使用目标处理算子对目标测试数据进行处理后得到的结果。
需要说明的是,该实施例中的获取单元802可以用于执行上述步骤S402,该实施例中的构建单元804可以用于执行上述步骤S404,该实施例中的测试单元806可以用于执行上述步骤S406。
通过上述模块,获取目标作业的目标作业流程和目标测试数据的目标标识信息,其中,目标作业是使用目标处理算子对第一数据源进行处理的作业,目标测试数据用于替换第一数据源;使用目标作业流程和目标标识信息,构建出目标作业,其中,目标作业中的第一数据源被替换为目标测试数据;通过目标计算引擎对目标作业进行测试,得到目标作业的目标测试结果,其中,目标测试结果是使用目标处理算子对目标测试数据进行处理后得到的结果,解决了相关技术中的作业测试方式存在由于测试过程复杂导致的测试效率低、用户体验度差的问题,提高了作业运行的快捷性,提高了作业测试效率,也提升了用户体验度。
作为一种可选的实施例,上述装置还包括:
第二接收单元,用于在通过目标计算引擎对目标作业进行测试,得到目标作业的目标测试结果之后,通过目标输入接口接收目标计算引擎通过目标链路输入的目标测试结果;
存储单元,用于存储目标测试结果。
作为一种可选的实施例,上述装置还包括:
第一替换单元,用于在使用目标作业流程和目标标识信息,构建出目标作业之前,将目标作业流程中第一数据源的数据源信息替换为目标标识信息;
第二替换单元,用于在目标作业的第二数据源未与已注册数据源关联的情况下,将目标作业流程中第二数据源的数据源信息替换为目标输出信息,得到更新后的目标作业流程;
其中,第二数据源为目标作业的测试结果写入的数据源,目标输出信息用于指示将目标作业的测试结果通过目标链路输出到目标输入接口中。
作为一种可选的实施例,上述装置还包括:
第二发送单元,用于在通过目标计算引擎对目标作业进行测试,得到目标作业的目标测试结果之后,向目标终端设备发送用于描述目标测试结果的目标展示信息,以在目标终端设备上展示目标测试结果。
此处需要说明的是,上述模块与对应的步骤所实现的示例和应用场景相同,但不限于上述实施例所公开的内容。需要说明的是,上述模块作为装置的一部分可以运行在如图1所示的硬件环境中,可以通过软件实现,也可以通过硬件实现,其中,硬件环境包括网络环境。
根据本申请实施例的又一个方面,还提供了一种用于实施上述作业测试方法的电子设备,该电子设备可以是服务器、终端、或者其组合。
图9是根据本申请实施例的一种可选的电子设备的结构框图,如图9所示,包括处理器902、通信接口904、存储器906和通信总线908,其中,处理器902、通信接口904和存储器906通过通信总线908完成相互间的通信,其中,
存储器906,用于存储计算机程序;
处理器902,用于执行存储器906上所存放的计算机程序时,实现如下步骤:
S1,检测到对目标可视化界面执行的触发操作,其中,触发操作用于触发对与目标可视化界面中的目标作业流程对应的目标作业进行测试,目标作业是使用目标处理算子对目标数据源进行处理的作业;
S2,响应触发操作,选取与目标数据源对应的目标测试数据,其中,目标测试数据用于替换目标数据源;
S3,将目标作业流程和目标测试数据的目标标识信息发送给目标服务端,以使目标服务端使用目标处理算子对目标测试数据进行处理,得到目标作业的目标测试结果。
可选地,处理器902,用于执行存储器906上所存放的计算机程序时,实现如下步骤:
S1,获取目标作业的目标作业流程和目标测试数据的目标标识信息,其中,目标作业是使用目标处理算子对第一数据源进行处理的作业,目标测试数据用于替换第一数据源;
S2,使用目标作业流程和目标标识信息,构建出目标作业,其中,目标作业中的第一数据源被替换为目标测试数据;
S3,通过目标计算引擎对目标作业进行测试,得到目标作业的目标测试结果,其中,目标测试结果是使用目标处理算子对目标测试数据进行处理后得到的结果。
可选地,上述的通信总线可以是PCI(Peripheral Component Interconnect,外设部件互连标准)总线、或EISA(Extended Industry Standard Architecture,扩展工业标准结构)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示,图9中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括RAM,也可以包括非易失性存储器(non-volatile memory),例如,至少一个磁盘存储器。可选地,存储器还可以是至少一个位于远离前述处理器的存储装置。
作为一种示例,上述存储器906中可以但不限于包括上述作业测试装置中的检测单元702、选取单元704以及第一发送单元706。此外,还可以包括但不限于上述作业测试装置中的其他模块单元,本示例中不再赘述。
作为另一种示例,上述存储器906中可以但不限于包括上述作业测试装置中的获取单元802、构建单元804以及测试单元806。此外,还可以包括但不限于上述作业测试装置中的其他模块单元,本示例中不再赘述。
上述处理器可以是通用处理器,例如,CPU、NP(Network Processor,网络处理器)等。上述处理器还可以是DSP(Digital Signal Processing,数字信号处理器)、ASIC(Application Specific Integrated Circuit,专用集成电路)、FPGA(Field-Programmable Gate Array,现场可编程门阵列)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
此外,上述电子设备还包括:显示器,用于显示目标作业的目标测试结果,例如,上述目标展示信息。
可选地,本实施例中的具体示例可以参考上述实施例中所描述的示例,本实施例在此不再赘述。
本领域普通技术人员可以理解,图9所示的结构仅为示意,实施上述作业测试方法的设备可以是终端设备,该终端设备可以是智能手机(如Android手机、iOS手机等)、平板电脑、掌上电脑以及移动互联网设备(Mobile Internet Devices,MID)、PAD等终端设备。图9其并不对上述电子设备的结构造成限定。例如,电子设备还可包括比图9中所示更多或者更少的组件(如网络接口、显示装置等),或者具有与图9所示的不同的配置。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:闪存盘、ROM、RAM、磁盘或光盘等。
根据本申请实施例的又一个方面,还提供了一种存储介质。可选地,在本实施例中,上述存储介质可以用于执行本申请实施例中上述任一项作业测试方法的程序代码。
可选地,在本实施例中,上述存储介质可以位于上述实施例所示的网络中的多个网络设备中的至少一个网络设备上。
可选地,在本实施例中,存储介质被设置为存储用于执行以下步骤的程序代码:
S1,检测到对目标可视化界面执行的触发操作,其中,触发操作用于触发对与目标可视化界面中的目标作业流程对应的目标作业进行测试,目标作业是使用目标处理算子对目标数据源进行处理的作业;
S2,响应触发操作,选取与目标数据源对应的目标测试数据,其中,目标测试数据用于替换目标数据源;
S3,将目标作业流程和目标测试数据的目标标识信息发送给目标服务端,以使目标服务端使用目标处理算子对目标测试数据进行处理,得到目标作业的目标测试结果。
可选地,在本实施例中,存储介质被设置为存储用于执行以下步骤的程序代码:
S1,获取目标作业的目标作业流程和目标测试数据的目标标识信息,其中,目标作业是使用目标处理算子对第一数据源进行处理的作业,目标测试数据用于替换第一数据源;
S2,使用目标作业流程和目标标识信息,构建出目标作业,其中,目标作业中的第一数据源被替换为目标测试数据;
S3,通过目标计算引擎对目标作业进行测试,得到目标作业的目标测试结果,其中,目标测试结果是使用目标处理算子对目标测试数据进行处理后得到的结果。
可选地,本实施例中的具体示例可以参考上述实施例中所描述的示例,本实施例中对此不再赘述。
可选地,在本实施例中,上述存储介质可以包括但不限于:U盘、ROM、RAM、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。
上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在上述计算机可读取的存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在存储介质中,包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。
在本申请的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的客户端,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例中所提供的方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
以上所述仅是本申请的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本申请的保护范围。
Claims (12)
1.一种作业测试方法,其特征在于,包括:
检测到对目标可视化界面执行的触发操作,其中,所述触发操作用于触发对与所述目标可视化界面中的目标作业流程对应的目标作业进行测试,所述目标作业是使用目标处理算子对目标数据源进行处理的作业;
响应所述触发操作,选取与所述目标数据源对应的目标测试数据,其中,所述目标测试数据用于替换所述目标数据源;
将所述目标作业流程和所述目标测试数据的目标标识信息发送给目标服务端,以使所述目标服务端使用所述目标处理算子对所述目标测试数据进行处理,得到所述目标作业的目标测试结果。
2.根据权利要求1所述的方法,其特征在于,选取与所述目标数据源对应的所述目标测试数据包括:
通过目标配置页面选取用于替换所述目标数据源的所述目标测试数据,其中,所述目标配置页面是在检测到所述触发操作之后弹出的、用于配置所述目标作业的测试参数的页面。
3.根据权利要求2所述的方法,其特征在于,在检测到对所述目标可视化界面执行的所述触发操作之后,所述方法还包括:
通过所述目标配置页面配置所述目标作业的目标测试参数,其中,所述目标测试参数包括以下至少之一:所述目标测试数据的读取速率,运行所述目标作业的计算资源。
4.根据权利要求1至3中任一项所述的方法,其特征在于,在将所述目标作业流程和所述目标测试数据的所述目标标识信息发送给目标服务端之后,所述方法还包括:
接收所述目标服务端发送的目标展示信息,其中,所述目标展示信息用于描述所述目标测试结果;
通过目标展示页面展示所述目标展示信息,以在所述目标展示页面上展示所述目标测试结果。
5.一种作业测试方法,其特征在于,包括:
获取目标作业的目标作业流程和目标测试数据的目标标识信息,其中,所述目标作业是使用目标处理算子对第一数据源进行处理的作业,所述目标测试数据用于替换所述第一数据源;
使用所述目标作业流程和所述目标标识信息,构建出所述目标作业,其中,所述目标作业中的所述第一数据源被替换为所述目标测试数据;
通过目标计算引擎对所述目标作业进行测试,得到所述目标作业的目标测试结果,其中,所述目标测试结果是使用所述目标处理算子对所述目标测试数据进行处理后得到的结果。
6.根据权利要求5所述的方法,其特征在于,在通过所述目标计算引擎对所述目标作业进行测试,得到所述目标作业的所述目标测试结果之后,所述方法还包括:
通过目标输入接口接收所述目标计算引擎通过目标链路输入的所述目标测试结果;
存储所述目标测试结果。
7.根据权利要求6所述的方法,其特征在于,在使用所述目标作业流程和所述目标标识信息,构建出所述目标作业之前,所述方法还包括:
将所述目标作业流程中所述第一数据源的数据源信息替换为所述目标标识信息;
在所述目标作业的第二数据源未与已注册数据源关联的情况下,将所述目标作业流程中所述第二数据源的数据源信息替换为目标输出信息,得到更新后的所述目标作业流程;
其中,所述第二数据源为所述目标作业的测试结果写入的数据源,目标输出信息用于指示将所述目标作业的测试结果通过所述目标链路输出到所述目标输入接口中。
8.根据权利要求5至7中任一项所述的方法,其特征在于,在通过所述目标计算引擎对所述目标作业进行测试,得到所述目标作业的所述目标测试结果之后,所述方法还包括:
向目标终端设备发送用于描述所述目标测试结果的目标展示信息,以在所述目标终端设备上展示所述目标测试结果。
9.一种作业测试装置,其特征在于,包括:
检测单元,用于检测到对目标可视化界面执行的触发操作,其中,所述触发操作用于触发对与所述目标可视化界面中的目标作业流程对应的目标作业进行测试,所述目标作业是使用目标处理算子对目标数据源进行处理的作业;
选取单元,用于响应所述触发操作,选取与所述目标数据源对应的目标测试数据,其中,所述目标测试数据用于替换所述目标数据源;
第一发送单元,用于将所述目标作业流程和所述目标测试数据的目标标识信息发送给目标服务端,以使所述目标服务端使用所述目标处理算子对所述目标测试数据进行处理,得到所述目标作业的目标测试结果。
10.一种作业测试装置,其特征在于,包括:
获取单元,用于获取目标作业的目标作业流程和目标测试数据的目标标识信息,其中,所述目标作业是使用目标处理算子对第一数据源进行处理的作业,所述目标测试数据用于替换所述第一数据源;
构建单元,用于使用所述目标作业流程和所述目标标识信息,构建出所述目标作业,其中,所述目标作业中的所述第一数据源被替换为所述目标测试数据;
测试单元,用于通过目标计算引擎对所述目标作业进行测试,得到所述目标作业的目标测试结果,其中,所述目标测试结果是使用所述目标处理算子对所述目标测试数据进行处理后得到的结果。
11.一种电子设备,包括处理器、通信接口、存储器和通信总线,其中,所述处理器、所述通信接口和所述存储器通过所述通信总线完成相互间的通信,其特征在于,
所述存储器,用于存储计算机程序;
所述处理器,用于通过运行所述存储器上所存储的所述计算机程序来执行权利要求1至8中任一项所述的方法步骤。
12.一种计算机可读的存储介质,其特征在于,所述存储介质中存储有计算机程序,其中,所述计算机程序被设置为运行时执行权利要求1至8中任一项中所述的方法步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110240733.2A CN112965711B (zh) | 2021-03-04 | 2021-03-04 | 作业测试方法和装置、电子设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110240733.2A CN112965711B (zh) | 2021-03-04 | 2021-03-04 | 作业测试方法和装置、电子设备和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112965711A true CN112965711A (zh) | 2021-06-15 |
CN112965711B CN112965711B (zh) | 2024-09-13 |
Family
ID=76276483
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110240733.2A Active CN112965711B (zh) | 2021-03-04 | 2021-03-04 | 作业测试方法和装置、电子设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112965711B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113504912A (zh) * | 2021-07-22 | 2021-10-15 | 浙江大华技术股份有限公司 | 实时任务的处理方法和装置、存储介质及电子装置 |
CN113626447A (zh) * | 2021-10-12 | 2021-11-09 | 民航成都信息技术有限公司 | 一种民航数据管理平台及方法 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150020049A1 (en) * | 2013-07-09 | 2015-01-15 | International Business Machines Corporation | Test framework for computing jobs |
CN104834586A (zh) * | 2014-02-10 | 2015-08-12 | 腾讯科技(深圳)有限公司 | 安卓界面自动化测试方法、装置及系统 |
CN109583688A (zh) * | 2018-10-16 | 2019-04-05 | 深圳壹账通智能科技有限公司 | 性能测试方法、装置、计算机设备和存储介质 |
WO2019095861A1 (zh) * | 2017-11-17 | 2019-05-23 | 阿里巴巴集团控股有限公司 | 数据处理方法和装置、终端设备、服务器 |
CN110618983A (zh) * | 2019-08-15 | 2019-12-27 | 复旦大学 | 基于json文档结构的工业大数据多维分析与可视化方法 |
CN110837469A (zh) * | 2019-11-06 | 2020-02-25 | 恩亿科(北京)数据科技有限公司 | 数据测试方法和装置、测试服务器和存储介质 |
CN111966597A (zh) * | 2020-08-18 | 2020-11-20 | 中国银行股份有限公司 | 测试数据生成方法及装置 |
CN112328470A (zh) * | 2020-10-22 | 2021-02-05 | 中国建设银行股份有限公司 | 一种自动化运维测试方法、装置、设备及存储介质 |
-
2021
- 2021-03-04 CN CN202110240733.2A patent/CN112965711B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150020049A1 (en) * | 2013-07-09 | 2015-01-15 | International Business Machines Corporation | Test framework for computing jobs |
CN104834586A (zh) * | 2014-02-10 | 2015-08-12 | 腾讯科技(深圳)有限公司 | 安卓界面自动化测试方法、装置及系统 |
WO2019095861A1 (zh) * | 2017-11-17 | 2019-05-23 | 阿里巴巴集团控股有限公司 | 数据处理方法和装置、终端设备、服务器 |
CN109583688A (zh) * | 2018-10-16 | 2019-04-05 | 深圳壹账通智能科技有限公司 | 性能测试方法、装置、计算机设备和存储介质 |
CN110618983A (zh) * | 2019-08-15 | 2019-12-27 | 复旦大学 | 基于json文档结构的工业大数据多维分析与可视化方法 |
CN110837469A (zh) * | 2019-11-06 | 2020-02-25 | 恩亿科(北京)数据科技有限公司 | 数据测试方法和装置、测试服务器和存储介质 |
CN111966597A (zh) * | 2020-08-18 | 2020-11-20 | 中国银行股份有限公司 | 测试数据生成方法及装置 |
CN112328470A (zh) * | 2020-10-22 | 2021-02-05 | 中国建设银行股份有限公司 | 一种自动化运维测试方法、装置、设备及存储介质 |
Non-Patent Citations (1)
Title |
---|
袁凌;刘红;杜洋;: "自动化功能测试在数据中心业务系统中的应用", 信息通信, no. 06, 15 June 2020 (2020-06-15) * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113504912A (zh) * | 2021-07-22 | 2021-10-15 | 浙江大华技术股份有限公司 | 实时任务的处理方法和装置、存储介质及电子装置 |
CN113504912B (zh) * | 2021-07-22 | 2024-06-18 | 浙江大华技术股份有限公司 | 实时任务的处理方法和装置、存储介质及电子装置 |
CN113626447A (zh) * | 2021-10-12 | 2021-11-09 | 民航成都信息技术有限公司 | 一种民航数据管理平台及方法 |
Also Published As
Publication number | Publication date |
---|---|
CN112965711B (zh) | 2024-09-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109302522B (zh) | 测试方法、装置以及计算机系统和介质 | |
CN110688598B (zh) | 业务参数采集方法、装置、计算机设备和存储介质 | |
CN111858296B (zh) | 接口测试方法、装置、设备和存储介质 | |
US8660833B2 (en) | Method, computer program product and apparatus for providing an interactive network simulator | |
CN106815141A (zh) | 一种软件测试方法和装置 | |
CN106815142A (zh) | 一种软件测试方法和系统 | |
CN107807841B (zh) | 服务器模拟方法、装置、设备及可读存储介质 | |
CN110263070A (zh) | 事件上报方法及装置 | |
CN111831542B (zh) | Api应用调测方法及装置、存储介质 | |
CN112148607A (zh) | 一种业务场景的接口测试方法和装置 | |
CN112965711A (zh) | 作业测试方法和装置、电子设备和存储介质 | |
CN107203470A (zh) | 页面调试方法和装置 | |
US9946712B2 (en) | Techniques for user identification of and translation of media | |
CN113268243A (zh) | 内存预测方法及装置、存储介质、电子设备 | |
CN110858175A (zh) | 测试控制方法、主控设备、被控设备及测试系统 | |
CN113590593B (zh) | 数据表信息的生成方法和装置、存储介质及电子装置 | |
CN108062401B (zh) | 应用推荐方法、装置及存储介质 | |
CN112307386A (zh) | 信息监控方法、系统、电子设备及计算机可读存储介质 | |
CN111949510A (zh) | 测试处理方法、装置、电子设备及可读存储介质 | |
CN113504912B (zh) | 实时任务的处理方法和装置、存储介质及电子装置 | |
CN112965767B (zh) | 作业的处理方法和装置、电子设备和存储介质 | |
US20160132424A1 (en) | Simulating sensors | |
CN112256564B (zh) | 应用程序的运行方法、装置及电子设备 | |
CN113760713B (zh) | 测试方法、系统、计算机系统和介质 | |
CN114371866B (zh) | 业务系统的版本重构测试方法、装置和设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |