CN114238077A - 一种自动化测试任务编排系统及方法 - Google Patents
一种自动化测试任务编排系统及方法 Download PDFInfo
- Publication number
- CN114238077A CN114238077A CN202111384587.7A CN202111384587A CN114238077A CN 114238077 A CN114238077 A CN 114238077A CN 202111384587 A CN202111384587 A CN 202111384587A CN 114238077 A CN114238077 A CN 114238077A
- Authority
- CN
- China
- Prior art keywords
- test
- test task
- task
- host
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012360 testing method Methods 0.000 title claims abstract description 406
- 238000000034 method Methods 0.000 title claims abstract description 28
- 238000012544 monitoring process Methods 0.000 claims abstract description 29
- 238000011084 recovery Methods 0.000 claims description 17
- 238000010586 diagram Methods 0.000 description 4
- 238000012423 maintenance Methods 0.000 description 3
- 230000003252 repetitive effect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000004064 recycling Methods 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Prevention of errors by analysis, debugging or testing of software
- G06F11/3668—Testing of software
- G06F11/3672—Test management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3055—Monitoring arrangements for monitoring the status of the computing system or of the computing system component, e.g. monitoring if the computing system is on, off, available, not available
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Computer Hardware Design (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明公开了一种自动化测试任务编排系统及方法，该自动化测试任务编排系统包括管理主机和多个测试主机，管理主机分别与多个测试主机相连接，其中，管理主机包括测试任务定义模块、测试任务下达模块、节点监控模块以及测试任务编排模块，每个测试主机包括agent模块，本发明可以选择不同类型的自动化测试工具，进而支持不同的测试类型，与此同时，本发明实现了从测试任务的下达、环境创建及执行的自动化，有效降低了测试环境创建、维护的时间成本，并提高自动化测试资源的使用率。
Description
技术领域
本发明属于自动化测试领域，更具体地，涉及一种自动化测试任务编排系统及方法。
背景技术
随着测试技术越来越专业化、流程化、规范化，其中测试过程更加规范，冒烟测试、回归测试、版本迭代测试即会产生大量的重复性工作，使用人工进行大量的重复性劳动，产生审美疲劳是必然，此时需要在工作中掌握自动化测试技术，以避免人工大量重复性工作产生的错误。
随着自动化测试被越来越多的应用，针对不同测试类型、不同测试任务的自动化测试工具也被开发出来。随着测试任务的增多及测试工具的复杂化，使得自动化测试任务的执行需要大量的人力及时间成本用于测试资源的获取，自动化工具的配置、部署，测试环境创建等工作，进而提高了了测试环境创建、维护的时间成本，也降低了自动化测试资源的使用率。
本发明提出一种自动化测试任务编排系统，能够有效降低测试环境创建、维护的时间成本，并提高自动化测试资源的使用率。
发明内容
本发明的目的是提出一种自动化测试任务编排系统，能够有效降低测试环境创建、维护的时间成本，并提高自动化测试资源的使用率。
为了实现上述目的，本发明提供一种自动化测试任务编排系统，所述编排系统包括管理主机和多个测试主机，所述管理主机分别与多个所述测试主机相连接；
所述管理主机包括：
测试任务定义模块，用于根据测试任务，创建测试任务模版；
测试任务下达模块，用于基于当前测试任务和所述测试任务模板，编写所述当前测试任务对应的测试任务清单并将所述测试任务清单下达至测试任务编排模块；
节点监控模块，用于监控每个所述测试主机的运行状态；
所述测试任务编排模块，用于基于所述测试任务清单和每个所述测试主机的运行状态，选择目标测试主机并下达任务启动指令于所述目标测试主机以执行测试任务；
每个所述测试主机包括：
agent模块，用于接收并执行所述管理主机下达的测试任务。
可选地，所述管理主机还包括：
测试任务监控模块，用于监控所述目标测试主机执行测试任务的执行信息，所述执行信息包括测试任务执行状态、进度及所述测试任务占用的资源；
测试结果回收模块，接收并解析所述测试任务的测试结果。
可选地，还包括消息服务系统，
所述消息服务系统的输入端分别与多个所述测试主机相连接，用于接收每个测试主机传输的所述测试结果；
所述消息服务系统的输出端与所述测试结果回收模块相连接，用于将接收的所述测试结果传输至所述测试结果回收模块。
可选地，还包括数据库；
所述数据库与所述测试结果回收模块相连接，用于接收并保存所述测试任务结果。
可选地，所述测试任务模版包括多个自动化测试工具和每个所述自动化测试工具对应的配置信息。
可选地，所述测试主机的运行状态包括CPU、内存占用率、磁盘IO指标和执行任务数量。
可选地，所述agent模块包括：
镜像管理模块，用于接收所述测试任务，并基于所述测试任务拉取镜像；
容器管理模块，用于基于所述镜像和所述测试任务创建容器，所述容器用于执行所述测试任务。
一种自动化测试任务编排方法，包括：
根据测试任务，创建测试任务模版；
基于当前测试任务和所述测试任务模板，编写所述当前测试任务对应的测试任务清单并下达所述测试任务清单；
基于所述测试任务清单和监控的每个测试主机的运行状态，选择目标测试主机并下达任务启动指令于所述目标测试主机以执行测试任务；
接收并执行所述管理主机下达的测试任务。
可选地，所述编排方法还包括：
监控所述目标测试主机执行测试任务的执行信息，所述执行信息包括测试任务执行状态、进度及所述测试任务占用的资源。
可选地，所述编排方法还包括：
接收并解析所述测试任务的测试结果。
本发明的有益效果在于：
本发明的自动化测试任务编排系统包括管理主机和多个测试主机，管理主机分别与多个测试主机相连接，其中，管理主机包括测试任务定义模块、测试任务下达模块、节点监控模块以及测试任务编排模块，每个测试主机包括agent模块，本发明的测试任务定义模块：根据测试任务，创建测试任务模版，测试任务下达模块：基于当前测试任务和测试任务模板，编写当前测试任务对应的测试任务清单并将测试任务清单下达至测试任务编排模块，节点监控模块：监控每个测试主机的运行状态，测试任务编排模块：基于测试任务清单和每个测试主机的运行状态，选择目标测试主机并下达任务启动指令于目标测试主机以执行测试任务，agent模块：接收并执行管理主机下达的测试任务，因此，本发明可以选择不同类型的自动化测试工具，进而支持不同的测试类型，与此同时，本发明实现了从测试任务的下达、环境创建及执行的自动化，有效降低了测试环境创建、维护的时间成本，并提高自动化测试资源的使用率。
本发明的其它特征和优点将在随后具体实施方式部分予以详细说明。
附图说明
通过结合附图对本发明示例性实施方式进行更详细的描述，本发明的上述以及其它目的、特征和优势将变得更加明显，其中，在本发明示例性实施方式中，相同的参考标号通常代表相同部件。
图1示出了根据本发明的一个实施例的一种自动化测试任务编排系统的结构图。
图2示出了根据本发明的一个实施例的一种自动化测试任务编排方法的流程图。
附图标记说明
1、管理主机；11、测试任务定义模块；12、测试任务下达模块；13、节点监控模块；14、测试任务编排模块；2、测试主机；21、agent模块；3、消息服务系统；4、数据库。
具体实施方式
下面将更详细地描述本发明的优选实施方式。虽然以下描述了本发明的优选实施方式，然而应该理解，可以以各种形式实现本发明而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本发明更加透彻和完整，并且能够将本发明的范围完整地传达给本领域的技术人员。
根据本发明的一种自动化测试任务编排系统，编排系统包括管理主机和多个测试主机，管理主机分别与多个测试主机相连接；
管理主机包括：
测试任务定义模块，用于根据测试任务，创建测试任务模版；
测试任务下达模块，用于基于当前测试任务和测试任务模板，编写当前测试任务对应的测试任务清单并将测试任务清单下达至测试任务编排模块；
节点监控模块，用于监控每个测试主机的运行状态；
测试任务编排模块，用于基于测试任务清单和每个测试主机的运行状态，选择目标测试主机并下达任务启动指令于目标测试主机以执行测试任务；
每个测试主机包括：
agent模块，用于接收并执行管理主机下达的测试任务。
具体地，本发明的自动化测试任务编排系统包括管理主机和多个测试主机，管理主机分别与多个测试主机相连接，其中，管理主机包括测试任务定义模块、测试任务下达模块、节点监控模块以及测试任务编排模块，每个测试主机包括agent模块，本发明的测试任务定义模块：根据测试任务，创建测试任务模版，测试任务下达模块：基于当前测试任务和测试任务模板，编写当前测试任务对应的测试任务清单并将测试任务清单下达至测试任务编排模块，节点监控模块：监控每个测试主机的运行状态，测试任务编排模块：基于测试任务清单和每个测试主机的运行状态，选择目标测试主机并下达任务启动指令于目标测试主机以执行测试任务，agent模块：接收并执行管理主机下达的测试任务，因此，本发明可以选择不同类型的自动化测试工具，进而支持不同的测试类型，与此同时，本发明实现了从测试任务的下达、环境创建及执行的自动化，有效降低了测试环境创建、维护的时间成本，并提高自动化测试资源的使用率。
进一步地，自动化测试执行人员根据具体的测试任务，创建测试任务模版，基于测试任务模版，添加/修改相关任务信息，形成当前测试任务对应的测试任务清单并将测试任务清单下达到测试任务编排模块，有效降低了测试执行人员对自动化测试工具部署的学习成本，能够将更多的精力用于测试脚本的编写工作。
在一个示例中，管理主机还包括：
测试任务监控模块，用于监控目标测试主机执行测试任务的执行信息，执行信息包括测试任务执行状态、进度及测试任务占用的资源；
测试结果回收模块，接收并解析测试任务的测试结果。
在一个示例中，编排系统还包括消息服务系统，
消息服务系统的输入端分别与多个测试主机相连接，用于接收每个测试主机传输的测试结果；
消息服务系统的输出端与测试结果回收模块相连接，用于将接收的测试结果传输至测试结果回收模块。
在一个示例中，编排系统还包括数据库；
数据库与测试结果回收模块相连接，用于接收并保存测试任务结果。
具体地，数据库与测试结果回收模块之间的连接方式优选为无线通信连接。
在一个示例中，测试任务模版包括多个自动化测试工具和每个自动化测试工具对应的配置信息。
在一个示例中，测试主机的运行状态包括CPU、内存占用率、磁盘IO指标和执行任务数量。
具体地，测试任务编排模块根据每个测试主机的运行状态，按照预设权重比例对每个测试主机进行资源评估，基于资源评估结果，选择目标测试主机并下达任务启动指令于目标测试主机以执行测试任务。
在一个示例中，agent模块包括：
镜像管理模块，用于接收测试任务，并基于测试任务拉取镜像；
容器管理模块，用于基于镜像和测试任务创建容器，容器用于执行测试任务。
具体地，容器管理模块，用于基于镜像和测试任务创建容器，并对容器进行配置、启动、停止、回收以及多个容器间互连操作。
一种自动化测试任务编排方法，包括：
根据测试任务，创建测试任务模版；
基于当前测试任务和测试任务模板，编写当前测试任务对应的测试任务清单并下达测试任务清单；
基于测试任务清单和监控的每个测试主机的运行状态，选择目标测试主机并下达任务启动指令于目标测试主机以执行测试任务；
接收并执行管理主机下达的测试任务。
在一个示例中，编排方法还包括：
监控目标测试主机执行测试任务的执行信息，执行信息包括测试任务执行状态、进度及测试任务占用的资源。
在一个示例中，编排方法还包括：
接收并解析测试任务的测试结果。
实施例一
图1示出了根据本发明的一个实施例的一种自动化测试任务编排系统的结构图。
如图1所示，该自动化测试任务编排系统包括管理主机和多个测试主机，管理主机分别与多个测试主机相连接；
管理主机包括：
测试任务定义模块，用于根据测试任务，创建测试任务模版；
测试任务下达模块，用于基于当前测试任务和测试任务模板，编写当前测试任务对应的测试任务清单并将测试任务清单下达至测试任务编排模块；
节点监控模块，用于监控每个测试主机的运行状态；
测试任务编排模块，用于基于测试任务清单和每个测试主机的运行状态，选择目标测试主机并下达任务启动指令于目标测试主机以执行测试任务；
每个测试主机包括：
agent模块，用于接收并执行管理主机下达的测试任务。
其中，管理主机还包括：
测试任务监控模块，用于监控目标测试主机执行测试任务的执行信息，执行信息包括测试任务执行状态、进度及测试任务占用的资源；
测试结果回收模块，接收并解析测试任务的测试结果。
其中，编排系统还包括消息服务系统，
消息服务系统的输入端分别与多个测试主机相连接，用于接收每个测试主机传输的测试结果；
消息服务系统的输出端与测试结果回收模块相连接，用于将接收的测试结果传输至测试结果回收模块。
其中，编排系统还包括数据库；
数据库与测试结果回收模块相连接，用于接收并保存测试任务结果。
其中，agent模块包括：
镜像管理模块，用于接收测试任务，并基于测试任务拉取镜像；
容器管理模块，用于基于镜像和测试任务创建容器，容器用于执行测试任务。
具体地，镜像管理模块根据接收的任务信息中的测试工具名称、版本信息，以及被测系统名称、版本信息，在主机本地查找是否有对应的镜像文件；如在本地未找到对应的镜像，则自动到镜像中心下载对应的镜像。容器管理模块根据接收的任务信息，启动相应的容器，完成对容器的配置，并在测试任务完成后，删除相应的容器，回收资源。容器管理还包括对已启动容器的运行状态、资源占用等信息的监控。
实施例二
图2示出了根据本发明的一个实施例的一种自动化测试任务编排方法的流程图。
如图2所示，该自动化测试任务编排方法包括：
步骤1：根据测试任务，创建测试任务模版；
步骤2：基于当前测试任务和测试任务模板，编写当前测试任务对应的测试任务清单并下达测试任务清单；
步骤3：基于测试任务清单和监控的每个测试主机的运行状态，选择目标测试主机并下达任务启动指令于目标测试主机以执行测试任务；
步骤4：接收并执行管理主机下达的测试任务。
其中，编排方法还包括：
监控目标测试主机执行测试任务的执行信息，执行信息包括测试任务执行状态、进度及测试任务占用的资源。
其中，编排方法还包括：
接收并解析测试任务的测试结果。
其中，该自动化测试任务编排方法还包括：
接收并传输每个测试主机传输的测试结果。
其中，该自动化测试任务编排方法还包括：
接收并保存测试任务结果。
其中，该自动化测试任务编排方法还包括：
接收测试任务，并基于测试任务拉取镜像；
基于镜像和测试任务创建容器，容器用于执行测试任务。
其中，测试任务模版包括多个自动化测试工具和每个自动化测试工具对应的配置信息。
其中，测试主机的运行状态包括CPU、内存占用率、磁盘IO指标和执行任务数量。
以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。
Claims (10)
1.一种自动化测试任务编排系统，其特征在于，所述编排系统包括管理主机和多个测试主机，所述管理主机分别与多个所述测试主机相连接；
所述管理主机包括：
测试任务定义模块，用于根据测试任务，创建测试任务模版；
测试任务下达模块，用于基于当前测试任务和所述测试任务模板，编写所述当前测试任务对应的测试任务清单并将所述测试任务清单下达至测试任务编排模块；
节点监控模块，用于监控每个所述测试主机的运行状态；
所述测试任务编排模块，用于基于所述测试任务清单和每个所述测试主机的运行状态，选择目标测试主机并下达任务启动指令于所述目标测试主机以执行测试任务；
每个所述测试主机包括：
agent模块，用于接收并执行所述管理主机下达的测试任务。
2.根据权利要求1所述的自动化测试任务编排系统，其特征在于，所述管理主机还包括：
测试任务监控模块，用于监控所述目标测试主机执行测试任务的执行信息，所述执行信息包括测试任务执行状态、进度及所述测试任务占用的资源；
测试结果回收模块，接收并解析所述测试任务的测试结果。
3.根据权利要求2所述的自动化测试任务编排系统，其特征在于，还包括消息服务系统，
所述消息服务系统的输入端分别与多个所述测试主机相连接，用于接收每个测试主机传输的所述测试结果；
所述消息服务系统的输出端与所述测试结果回收模块相连接，用于将接收的所述测试结果传输至所述测试结果回收模块。
4.根据权利要求3所述的自动化测试任务编排系统，其特征在于，还包括数据库；
所述数据库与所述测试结果回收模块相连接，用于接收并保存所述测试任务结果。
5.根据权利要求1所述的自动化测试任务编排系统，其特征在于，所述测试任务模版包括多个自动化测试工具和每个所述自动化测试工具对应的配置信息。
6.根据权利要求1所述的自动化测试任务编排系统，其特征在于，所述测试主机的运行状态包括CPU、内存占用率、磁盘IO指标和执行任务数量。
7.根据权利要求1所述的自动化测试任务编排系统，其特征在于，所述agent模块包括：
镜像管理模块，用于接收所述测试任务，并基于所述测试任务拉取镜像；
容器管理模块，用于基于所述镜像和所述测试任务创建容器，所述容器用于执行所述测试任务。
8.一种自动化测试任务编排方法，其特征在于，包括：
根据测试任务，创建测试任务模版；
基于当前测试任务和所述测试任务模板，编写所述当前测试任务对应的测试任务清单并下达所述测试任务清单；
基于所述测试任务清单和监控的每个测试主机的运行状态，选择目标测试主机并下达任务启动指令于所述目标测试主机以执行测试任务；
接收并执行所述管理主机下达的测试任务。
9.根据权利要求8所述的自动化测试任务编排方法，其特征在于，所述编排方法还包括：
监控所述目标测试主机执行测试任务的执行信息，所述执行信息包括测试任务执行状态、进度及所述测试任务占用的资源。
10.根据权利要求8所述的自动化测试任务编排方法，其特征在于，所述编排方法还包括：
接收并解析所述测试任务的测试结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111384587.7A CN114238077A (zh) | 2021-11-19 | 2021-11-19 | 一种自动化测试任务编排系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111384587.7A CN114238077A (zh) | 2021-11-19 | 2021-11-19 | 一种自动化测试任务编排系统及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114238077A true CN114238077A (zh) | 2022-03-25 |
Family
ID=80750337
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111384587.7A Pending CN114238077A (zh) | 2021-11-19 | 2021-11-19 | 一种自动化测试任务编排系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114238077A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115858400A (zh) * | 2023-02-27 | 2023-03-28 | 广州市玄武无线科技股份有限公司 | 一种移动app自动化测试任务编排系统 |
| CN116383093A (zh) * | 2023-06-05 | 2023-07-04 | 成都佰维存储科技有限公司 | Windows测试环境部署方法、装置、可读存储介质及电子设备 |
| CN117075571A (zh) * | 2023-03-06 | 2023-11-17 | 昆易电子科技(上海)有限公司 | 测试方法及系统、设备以及可读存储介质 |
-
2021
- 2021-11-19 CN CN202111384587.7A patent/CN114238077A/zh active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115858400A (zh) * | 2023-02-27 | 2023-03-28 | 广州市玄武无线科技股份有限公司 | 一种移动app自动化测试任务编排系统 |
| CN117075571A (zh) * | 2023-03-06 | 2023-11-17 | 昆易电子科技(上海)有限公司 | 测试方法及系统、设备以及可读存储介质 |
| CN116383093A (zh) * | 2023-06-05 | 2023-07-04 | 成都佰维存储科技有限公司 | Windows测试环境部署方法、装置、可读存储介质及电子设备 |
| CN116383093B (zh) * | 2023-06-05 | 2023-08-08 | 成都佰维存储科技有限公司 | Windows测试环境部署方法、装置、可读存储介质及电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114238077A (zh) | 一种自动化测试任务编排系统及方法 | |
| CN106547613B (zh) | 任务处理流程的调度及故障恢复方法 | |
| CN104778124B (zh) | 一种软件应用自动化测试方法 | |
| CN101526919B (zh) | 生成脚本文件对Web应用软件进行测试的方法及装置 | |
| CN106506283B (zh) | 银行和企业对接系统的业务测试方法和装置 | |
| CN109656820B (zh) | 基于cbtc的智能自动化测试系统 | |
| CN106874189B (zh) | 一种电网实时数据库系统的自动化测试系统的实现方法 | |
| US20150100830A1 (en) | Method and system for selecting and executing test scripts | |
| CN113741958A (zh) | 一种基于云原生的软件开发交付方法及系统 | |
| CN111309609B (zh) | 软件处理系统 | |
| CN110232013B (zh) | 测试方法、装置以及控制器和介质 | |
| US20220269595A1 (en) | Testing iot-applications based on a fleet of iot-devices | |
| CN110874319A (zh) | 自动化测试方法、平台、设备及计算机可读存储介质 | |
| CN110209565A (zh) | 一种元数据模型调试方法及其装置 | |
| CN107919998B (zh) | 基于JMeter的传感器服务端功能测试方法与系统 | |
| CN116400987A (zh) | 持续集成方法、装置、电子设备及存储介质 | |
| CN114661620A (zh) | 一种基于功能模块的接口自动化测试系统和方法 | |
| EP4459398A1 (en) | Workflow generation method, device and system, medium, and program product | |
| CN115913314A (zh) | 中继卫星地面站数据中继任务流程监控方法、装置及系统 | |
| CN115525413A (zh) | 基于集群的模型训练方法、系统、设备、介质及产品 | |
| Herpel et al. | Model based testing of satellite on-board software—an industrial use case | |
| CN114428621A (zh) | 一种作业自动化部署方法 | |
| CN116450305B (zh) | 基于分布式任务调度的soar平台组件执行方法与装置 | |
| CN116204399B (zh) | 一种Linux系统性能自动化测试方法及系统 | |
| CN112052181A (zh) | 基于软件工程化的嵌入式软件自动化测试系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |