CN101252471A - 一种分布式自动化测试系统及其方法 - Google Patents

Abstract

一种分布式自动化测试系统，包括测试用例服务器、至少一个测试监控端、至少一个测试执行端、以及为每个测试执行端配置的守护管理器。还公开一种分布式自动化测试方法，包括：1)测试监控端从测试用例服务器获取测试用例脚本列表生成测试用例执行列表，然后通过守护管理器启动测试执行端后，提交测试用例执行列表到对应的测试执行端；2)测试执行端接收后从测试用例服务器获取测试用例脚本并执行，生成测试日志文件和结果统计文件；完成本次测试后，通知测试监控端；3)测试监控端从测试执行端提取生成的测试日志文件和结果统计文件，进行本地分析处理。本发明方案可以实现自动化测试中的多监控、分布式监控、并行分析、测试用例集中管理。

Description

一种分布式自动化测试系统及其方法

技术领域

本发明涉及自动化测试领域，尤其涉及一种分布式自动化测试系统及其方法。

背景技术

在目前自动化测试领域，分布式测试是一个研究的热点问题，具体包括分布式测试系统以及基于该系统的测试方法。

分布式架构测试系统一般采用客户端服务器(C/S)模式，具体包括若干个用于控制至少一个被测对象的测试执行服务器和一个用于控制该服务器的测试管理客户端，该服务器与客户端之间通过TCP/IP进行数据传递和消息交互。

基于该分布式测试系统的测试方法可以概括为：使用若干个测试执行服务器控制至少一个被测对象，使用一个测试管理客户端控制上述服务器；客户端通过设置于测试执行服务器之上的测试用例，调度管理测试用例并在测试执行服务器上执行。

上述测试系统以及方法充分利用了网络上各种分布式资源，从而提高了测试资源的利用率和自动化测试效率。

但上述测试系统以及测试方法也存在一定缺陷，简单概括如下：

一、该测试系统采用一个测试客户端控制若干个测试执行服务器，控制过于集中。在自动化测试中，各种测试资源，包括软件测试，被测对象为测试团队共用，如果对资源的占用、测试任务的调度等通过一个客户端控制，这样团队成员难以灵活使用各种测试资源。

二、在测试执行服务器执行测试用例的过程中，需要对测试执行服务器实时监控。而团队成员可能仅关注于自己的测试任务的执行情况，如果通过一个测试客户端控制，这样测试任务的提交者难以灵活控制执行该任务的执行。有些时候，分布在不同物理区域上的测试人员需要对同一执行过程进行监控，分析测试日志定位问题等，这都难以通过这种集中的监控模式实现。

三、测试执行服务器作为一个执行机构，同时也是测试用例的管理机构。这样，相同的测试用例分布在不同的执行服务器上，难以实现测试用例的版本管理，同时也造成了测试用例的冗余。尤其是在以回归测试为核心的自动化测试中，分布式的测试用例管理模式更是难以满足要求。

发明内容

本发明提供一种分布式自动化测试系统及其方法，以实现自动化测试中的多监控、分布式监控、并行分析、测试用例集中管理。

为了解决上述技术问题，本发明提供一种分布式自动化测试系统，所述系统包括测试用例服务器、至少一个测试监控端、至少一个测试执行端、以及为每个所述测试执行端配置的守护管理器，其中：

所述测试用例服务器，用于集中管理测试用例；

所述测试监控端，用于给测试人员提供操作接口，负责一个或多个所述测试执行端的监控；

所述测试执行端，用于接受一个或多个所述测试监控端的控制，负责测试用例的执行，测试日志的生成和测试结果的统计；

所述守护管理器，用于守护所述测试执行端，负责创建所述测试执行端的进程。

本发明所述系统，其中，所述测试用例服务器统一管理测试用例脚本，并用于负责所述测试用例脚本的版本管理、同步管理；用于导出测试用例脚本列表，导出测试用例脚本；还用于根据测试关键字导出测试任务。

本发明所述系统，其中，所述测试监控端包括通信模块、脚本管理模块、脚本编辑模块、配置管理模块、日志管理模块、执行端管理模块、远程监控模块和任务管理模块，其中：

所述通信模块负责与所述测试用例服务器的通信，负责维持与所述测试执行端的通信，进行数据传递与消息交互；

所述脚本管理模块负责从所述测试用例服务器导入测试用例脚本列表，下载或上传所述测试用例脚本；

所述脚本编辑模块负责所述测试用例脚本的编辑和属性配置；

所述配置管理模块负责所述测试执行端运行参数的配置、测试环境的配置、测试控制逻辑的配置；

所述日志管理模块负责日志输出队列的管理，日志输出窗口的管理；负责从所述通信模块读取测试日志，并输出到日志窗口；提供日志关键信息到所述监控模块，提供监控辅助信息；

所述执行端管理模块负责所述测试执行端登陆管理，维护所述测试执行端配置信息列表；接收来自所述监控模块的操作命令，并发送所述操作命令到所要控制的所述测试执行端；

所述监控模块是该测试监控端的枢纽，监视端通过所述任务管理模块获取所述测试执行端执行过程，根据控制命令生成测试流程控制逻辑；根据用户配置实现对多个所述测试执行端的监控或分布式监控，并行分析；

所述任务管理模块负责该测试监控端多任务的管理与调度，为所述监控模块提供当前测试任务的详细配置信息。

本发明所述系统，其中，所述测试执行端包括通信模块、脚本管理模块、任务管理模块、运行控制模块、配置管理模块、脚本执行模块、时间统计模块、结果统计模块、日志管理模块，其中：

所述通信模块负责与所述测试用例服务器的通信，负责与所述测试监控端的通信，进行数据传递与消息交互；

所述脚本管理模块根据执行用例列表同步本地测试用例脚本，并控制本地测试用例的生存期限，负责提供测试用例脚本到所述脚本执行模块；

所述任务管理模块接收操作任务，解析操作命令并分发到不同处理模块，所述命令包括运行控制命令、配置管理命令；负责测试任务的管理，测试任务队列的管理；

所述运行控制模块负责运行流程的控制、脚本执行顺序的控制、脚本执行结果提交；负责运行过程中的异常处理以及容错处理；负责测试脚本执行时间异常处理；

所述配置管理模块负责测试环境的配置、执行逻辑的配置、执行参数的配置；

所述脚本执行模块核心是工具命令语言Tcl解释器，负责测试支持库的加载、测试脚本的执行，测试日志输出；

所述时间统计模块负责统计测试脚本的执行时间，测试任务的执行时间，为所述运行控制模块提供时间判断依据；

所述结果统计模块负责统计测试脚本的执行结果，格式化执行结果并生成结果统计文件；

所述日志管理模块负责日志格式化并生成日志文件，负责发送测试日志到所述测试监控端；在多监控中，用于提交不同测试日志到不同测试监控端。

本发明所述系统，其中，所述守护管理器，还负责所述测试执行端的进程的监控、释放、异常处理，其包括通信模块、命令解析模块、执行端管理模块、执行端守护模块，其中：

所述通信模块负责与所述测试监控端的通信，进行数据传递与消息交互；

所述命令解析模块负责解析来自所述测试监控端的操作命令，并传送所述操作命令到所述执行端管理模块；

所述执行端管理模块根据解析出的操作命令控制所述测试执行端，包括启动所述测试执行端、退出所述测试执行端、所述测试执行端的状态管理，所述测试执行端状态包括在运行、空闲、未启动；创建所述测试执行端的守护进程、退出所述测试执行端的守护进程；

所述执行端守护模块负责监控所述测试执行端的执行过程，一旦所述测试执行端异常退出，通知所述执行端管理模块。

本发明还提供一种分布式自动化测试方法，包括如下步骤：

(1)测试监控端从测试用例服务器获取测试用例脚本列表以生成测试用例执行列表，然后所述测试监控端发送启动命令到一个或多个测试执行端对应的守护管理器，启动所述测试执行端后，提交所述测试用例执行列表到对应的所述测试执行端；

(2)所述测试执行端接收并根据所述测试用例执行列表从所述测试用例服务器获取测试用例脚本并执行，生成测试日志文件和结果统计文件；完成本次测试后，通知所述测试执行端对应的测试监控端；

(3)所述测试执行端对应的测试监控端从所述测试执行端提取所述生成的测试日志文件和结果统计文件，进行本地分析处理。

本发明所述方法，其中，步骤(1)中，所述测试监控端从测试用例服务器获取测试用例脚本列表以生成测试用例执行列表后，执行如下步骤：

(1.1)所述测试监控端浏览本地测试执行端列表，选择一个或多个测试执行端；

(1.2)所述测试监控端登陆到所述测试执行端对应的守护管理器，发送启动命令到所述测试执行端对应的守护管理器；

(1.3)所述测试执行端对应的守护管理器启动所述测试执行端后，通知该测试执行端对应的测试监控端；

(1.4)所述测试执行端对应的测试监控端登陆到该测试执行端，配置测试参数，生成测试控制参数列表；

(1.5)所述测试监控端提交所述测试控制参数列表和测试执行列表到该测试监控端对应的测试执行端。

本发明所述方法，其中，步骤(2)中，所述测试执行端执行测试用例脚本过程中，如果异常退出，则所述测试执行端对应的守护管理器重启该测试执行端，控制该测试执行端加载异常处理机制，继续执行所述测试用例脚本，并通知该测试执行端对应的测试监控端重新建立通信连接。

本发明所述方法，其中，步骤(2)中，所述测试执行端执行测试用例脚本过程中，还输出实时测试日志文件到其对应当的测试监控端，实现实时的测试日志浏览。

本发明所述方法，其中，步骤(3)中，所述测试执行端对应的测试监控端还发送控制命令到所述守护管理器，释放所述测试执行端的进程。

本发明所述方案可以实现自动化测试中的多监控、分布式监控、并行分析、测试用例集中管理。

附图说明

图1是本发明实施例分布式自动化测试系统结构示意图；

图2是本发明实施例分布式自动化测试系统中测试监控端结构示意图；

图3是本发明实施例分布式自动化测试系统中测试执行端结构示意图；

图4是本发明实施例分布式自动化测试系统中守护管理器结构示意图；

图5是本发明实施例分布式自动化测试方法流程图；

图6是本发明应用实例分布式自动化测试方法中监控流程图；

图7是本发明应用实例分布式自动化测试系统中测试监控端的监控模块、执行端管理模块与日志模块的监控关系逻辑示意图。

图8是本发明应用实例分布式自动化测试方法中守护管理器守护流程图。

具体实施方式

以下结合附图和具体实施方式对本发明所述技术方案进行详细描述。

如图1所示，是本发明实施例分布式自动化测试系统结构示意图，所述系统包括测试用例服务器、至少一个测试监控端、至少一个测试执行端、以及为每个所述测试执行端配置的守护管理器，其中：

所述测试用例服务器，用于集中管理测试用例；所述测试用例服务器统一管理测试用例脚本，并用于负责所述测试用例脚本的版本管理、同步管理；用于导出测试用例脚本列表，导出测试用例脚本；还用于根据测试关键字导出测试任务；

所述测试监控端，用于给测试人员提供操作接口，负责一个或多个所述测试执行端的监控；如图2所示，是本发明实施例分布式自动化测试系统中测试监控端结构示意图，包括通信模块、脚本管理模块、脚本编辑模块、配置管理模块、日志管理模块、执行端管理模块、远程监控模块和任务管理模块，其中：所述通信模块负责与所述测试用例服务器的通信，负责维持与所述测试执行端的通信，进行数据传递与消息交互；所述脚本管理模块负责从所述测试用例服务器导入测试用例脚本列表，下载或上传所述测试用例脚本；所述脚本编辑模块负责所述测试用例脚本的编辑和属性配置；所述配置管理模块负责所述测试执行端运行参数的配置、测试环境的配置、测试控制逻辑的配置；所述日志管理模块负责日志输出队列的管理，日志输出窗口的管理；负责从所述通信模块读取测试日志，并输出到日志窗口；提供日志关键信息到所述监控模块，提供监控辅助信息；所述执行端管理模块负责所述测试执行端登陆管理，维护所述测试执行端配置信息列表；接收来自所述监控模块的操作命令，并发送所述操作命令到所要控制的所述测试执行端；所述监控模块是该测试监控端的枢纽，监视端通过所述任务管理模块获取所述测试执行端执行过程，根据控制命令生成测试流程控制逻辑；根据用户配置实现对多个所述测试执行端的监控或分布式监控，并行分析；所述任务管理模块负责该测试监控端多任务的管理与调度，为所述监控模块提供当前测试任务的详细配置信息；

所述测试执行端，用于接受一个或多个所述测试监控端的控制，负责测试用例的执行，测试日志的生成和测试结果的统计；如图3所示，是本发明实施例分布式自动化测试系统中测试执行端结构示意图，包括通信模块、脚本管理模块、任务管理模块、运行控制模块、配置管理模块、脚本执行模块、时间统计模块、结果统计模块、日志管理模块，其中：所述通信模块负责与所述测试用例服务器的通信，负责与所述测试监控端的通信，进行数据传递与消息交互；所述脚本管理模块根据执行用例列表同步本地测试用例脚本，并控制本地测试用例的生存期限，负责提供测试用例脚本到所述脚本执行模块；所述任务管理模块接收操作任务，解析操作命令并分发到不同处理模块，所述命令包括运行控制命令、配置管理命令；负责测试任务的管理，测试任务队列的管理；所述运行控制模块负责运行流程的控制、脚本执行顺序的控制、脚本执行结果提交；负责运行过程中的异常处理以及容错处理；负责测试脚本执行时间异常处理；所述配置管理模块负责测试环境的配置、执行逻辑的配置、执行参数的配置；所述脚本执行模块核心是Tcl(Tool commandlanguage，工具命令语言)解释器，负责测试支持库的加载、测试脚本的执行，测试日志输出；所述时间统计模块负责统计测试脚本的执行时间，测试任务的执行时间，为所述运行控制模块提供时间判断依据；所述结果统计模块负责统计测试脚本的执行结果，格式化执行结果并生成结果统计文件；所述日志管理模块负责日志格式化并生成日志文件，负责发送测试日志到所述测试监控端；在多监控中，用于提交不同测试日志到不同测试监控端；

所述守护管理器，用于守护所述测试执行端，负责创建所述测试执行端的进程，还负责所述测试执行端的进程的监控、释放、异常处理；如图4所示，是本发明实施例分布式自动化测试系统中守护管理器结构示意图，其包括通信模块、命令解析模块、执行端管理模块、执行端守护模块，其中：所述通信模块负责与所述测试监控端的通信，进行数据传递与消息交互；所述命令解析模块负责解析来自所述测试监控端的操作命令，并传送所述操作命令到所述执行端管理模块；所述执行端管理模块根据解析出的操作命令控制所述测试执行端，包括启动所述测试执行端、退出所述测试执行端、所述测试执行端的状态管理，所述测试执行端状态包括在运行、空闲、未启动；创建所述测试执行端的守护进程、退出所述测试执行端的守护进程；所述执行端守护模块负责监控所述测试执行端的执行过程，一旦所述测试执行端异常退出，通知所述执行端管理模块。

上述自动化测试系统中，一个测试监控端可以控制任意一个测试执行端，任意一个测试执行端可以接收多个测试监控端的控制，测试监控端与测试执行端是N-N的关系，这样不但可以充分利用测试执行端和测试环境，还为多监控、分布式监控提供了可能。

如图5所示，是本发明实施例分布式自动化测试方法流程图，包括如下步骤：

步骤501，测试监控端从测试用例服务器获取测试用例脚本列表以生成测试用例执行列表，然后所述测试监控端发送启动命令到一个或多个测试执行端对应的守护管理器，启动所述测试执行端后，提交所述测试用例执行列表到对应的所述测试执行端；

步骤502，所述测试执行端接收并根据所述测试用例执行列表从所述测试用例服务器获取测试用例脚本并执行，生成测试日志文件和结果统计文件；完成本次测试后，通知所述测试执行端对应的测试监控端；

所述测试监控端从测试用例服务器获取测试用例脚本列表以生成测试用例执行列表后，执行如下步骤：

(502.1)所述测试监控端浏览本地测试执行端列表，选择一个或多个测试执行端；

(502.2)所述测试监控端登陆到所述测试执行端对应的守护管理器，发送启动命令到所述测试执行端对应的守护管理器；

(502.3)所述测试执行端对应的守护管理器启动所述测试执行端后，通知该测试执行端对应的测试监控端；

(502.4)所述测试执行端对应的测试监控端登陆到该测试执行端，配置测试参数，生成测试控制参数列表；

(502.5)所述测试监控端提交所述测试控制参数列表和测试执行列表到该测试监控端对应的测试执行端；

步骤503，所述测试执行端对应的测试监控端从所述测试执行端提取所述生成的测试日志文件和结果统计文件，进行本地分析处理；

上述步骤502中，所述测试执行端执行测试用例脚本过程中，如果异常退出，则所述测试执行端对应的守护管理器重启该测试执行端，控制该测试执行端加载异常处理机制(比如：获取异常退出点(发生异常的测试脚本)，从异常退出点重新执行测试任务，或者清理测试环境，还原出一个新的测试环境)，继续执行所述测试用例脚本，并通知该测试执行端对应的测试监控端重新建立通信连接。所述测试执行端执行测试用例脚本过程中，还输出实时测试日志文件到其对应当的测试监控端，实现实时的测试日志浏览。

上述步骤503中，所述测试执行端对应的测试监控端还发送控制命令到所述守护管理器，释放所述测试执行端的进程。

本发明应用实例一种分布式自动化测试方法流程图，包括如下步骤：

A、测试监控端从测试用例服务器导出测试用例列表，测试人员根据测试任务，从测试用例列表选择该次测试需要的测试用例脚本，生成测试用例执行列表；

B、测试监控端登陆到守护管理器，发送启动命令到守护管理器，守护管理器启动测试执行端。测试监控端登陆到当前测试执行端，配置测试环境，生成测试控制参数列表。测试人员提交测试任务，包括测试用例执行列表和测试控制参数列表到测试执行端；

C、测试执行端接收到测试任务，解析测试用例执行列表和测试控制参数列表。根据测试用例执行列表从测试用例库更新测试用例脚本文件，根据测试控制参数列表生成执行控制逻辑。通知测试监控端准备工作就绪，监听测试监控端发送的执行控制命令；

D、测试监控端下达执行控制命令到测试执行端，测试执行端解析命令参数，执行命令。生成测试日志文件和结果统计文件。在执行过程中，输出日志到测试监控端，实现实时的日志浏览；

E、守护管理器监视测试执行端执行过程，一旦测试执行端异常退出，守护管理器重启测试执行端，并通知测试监控端重新建立通信连接。测试执行端加载异常处理机制，继续执行脚本；

F、测试监控端监控测试执行端的执行过程，并接收执行日志，实时控制测试执行端；测试执行端在执行过程中，监听、执行操作命令，从而实现测试监控端与测试执行端的实时交互；

G、测试执行端完成本次测试，通知测试监控端。测试监控端从测试执行端提取测试结果统计文件和测试日志文件，进行本地分析处理。测试监控端还发送控制命令到守护管理器，释放所述测试执行端的进程(守护管理器负责测试执行端的清理工作)。

步骤A详细涉及到：

A1、测试监控端从测试用例服务器更新测试用例列表，测试用例列表索引当前测试脚本库中所有测试脚本，每个列表项包括测试用例描述、测试关键字、当前测试版本、最后修改时间、测试环境要求等。一般情况测试监控端都有一个测试用例列表本地备份，可以从测试用例服务器更新本地列表；当测试用例服务器测试用例列表更新时，也会通知测试监控端，从而保持本地列表与测试用例服务器的同步；

A2、测试人员根据测试任务以及测试用例描述信息，测试关键字、版本信息等选择测试用例，生成测试用例执行列表。测试关键字涉及到该测试用例所能进行的测试项，测试功能点。可以根据测试任务检索关键字，自动生成测试用例执行列表。测试用例执行列表简单描述了该次测试所涉及的测试用例，是一个索引文件。

步骤B进一步包括：

B1、测试监控端浏览本地测试执行端列表，选择测试执行端；

B2、测试监控端登陆到守护管理器、发送启动命令到守护管理器；

B3、守护管理器启动测试执行端后，通知测试监控端测试执行端已经启动；

B4、测试监控端登陆到执行端，配置测试参数，生成测试控制参数列表；

B5、测试监控端提交测试用例执行列表和测试控制参数列表到测试执行端，完成测试执行配置操作。

步骤C进一步包括：

C1、测试执行端接收到测试任务。解析执行命令，生成测试用例执行列表和测试控制参数列表。控制命令包括执行、暂停、停止、实时日志等。测试用例执行列表是一些测试用例的索引文件；

C2、测试执行端登陆到测试用例服务器，根据测试用例执行列表，更新测试用例脚本文件到本地。一般情况，测试执行端会缓存脚本文件，如果本地没有，就从测试用例服务器获取；

C3、测试执行端解析测试控制参数，生成执行控制逻辑；

C4、测试执行端发送准备就绪消息到测试监控端，监听执行控制命令。

步骤D详细涉及到：

D1、测试监控端与测试执行端建立日志通道，接收测试执行端送来的执行日志，进行实时的日志浏览分析；

D2、测试执行端执行脚本过程中，生成测试日志文件，输出测试日志到测试监控端；

D3、测试执行端执行脚本过程中，统计测试脚本执行结果，生成结果统计文件。

步骤E详细涉及到：

E1、守护管理器在执行的整个过程中监视测试执行端的执行。守护管理器一旦发现执行端退出，根据守护机制判断是否异常退出，如果异常退出，重启测试执行端，通知测试监控端重新建立通信连接；

E2、测试执行端重新启动，恢复与测试监控端的通信连接；解析监控文件获取异常点，从异常点做必要的测试环境清理工作，然后继续执行测试脚本。

步骤F详细涉及到：

F1、测试监控端或者实时远程监控测试执行端，发送实时控制请求，建立通信连接，实现实时控制；或者随机登陆到测试执行端，获取执行信息；

F2、测试执行端随时接收测试监控端的连接请求、操作命令、日志输出等。如果启动实时监控，测试执行端不断监听测试监控端的命令，根据命令进行相应操作。

步骤G详细涉及到：

G1、测试执行端执行完成后，通知测试监控端执行完成，测试监控端获取测试日志，测试结果等文件；

G2、测试监控端发送控制命令到守护管理器，或者释放、清理、退出测试执行端，或者让测试执行端程序继续运行。

如图6所示，是本发明应用实例分布式自动化测试方法中监控流程图，包括如下步骤：

步骤601，首先由测试监控端登陆到守护管理器获取测试执行端状态；

步骤602，判断测试执行端是否启动：如果是，则转步骤605；如果否，则转步骤603；

步骤603，如果测试执行端未启动，则由守护管理器启动测试执行端，测试监控端设置测试执行端控制模式，发送控制命令；

步骤604，由测试监控端监控测试执行端，本流程结束；

步骤605，判断是否已经运行脚本：如果是，则转步骤606；如果否，则转步骤609；

步骤606，测试监控端从守护管理器获取测试执行端的控制模式；

步骤607，判断控制模式是什么，如果是共享的，则转步骤604；如果是独占的，则转步骤608；

步骤608，如果该在运行的测试执行端满足需求，则由测试监控端监视测试执行端状态以便进行后期操作，本流程结束；

步骤609，判断该脚本是否已被占有：如果是，则转步骤611，如果否，则转步骤610；

步骤610，测试监控端设置测试执行端控制模式，发送控制命令，然后转步骤604；

步骤611，判断控制模式是什么，如果是共享的，则转步骤610；如果是独占的，则转步骤608；

步骤612，如果该在运行的测试执行端不满足需求，则退出该测试执行端，流程结束。

本发明所述自动化测试系统的测试监控端是提供给测试人员的图形化接口，具体模块如图2所示。可以根据模块功能以及协同交互具体实施测试监控：

所述通信模块负责与测试执行端、测试用例服务器的数据交互。数据交互包括控制命令、获取命令、命令响应等，具体涉及到的命令如下表1的测试监控端命令列表所示：

表1测试监控端命令列表

所述脚本管理模块负责从测试用例服务器获取测试用例脚本列表，下载或上传测试用例脚本。脚本管理模块是测试监控端与测试用例服务器的接口，其中脚本管理模块可以采用开源的CVS(Concurrent Version System，并行版本系统)客户端实现，测试用例服务器可以采用CVS服务器。

所述配置管理模块根据当前测试任务和测试用例信息配置测试环境。测试执行端是在特定的测试环境下执行的，测试监控端获取测试执行端的测试环境拓扑，然后提供给用户图形化的配置窗口，配置后由配置管理模块送到测试执行端。

所述日志管理模块主要负责日志队列的管理。当测试监控端要监控一个测试执行端时，日志管理模块生成一个日志节点到日志队列。日志管理模块与执行端管理模块协同完成日志的输出、处理等。日志输出由监控模块控制，可以选择接收日志、可以选择接收多个测试执行端的日志，实现多监控、分布式监控。

所述执行端管理模块负责测试执行端列表的管理，测试执行端的登陆管理，是实现多监控、分布式监控的核心。每个测试监控端会维护当前可用测试执行端的列表，以及测试执行端配置的详细信息。测试监控端登陆或退出测试执行端后，会修改当前监控状态。

所述监控模块是测试监控端的核心，所有操作执行端命令都由监控模块生成并经由执行端管理模块送到测试执行端。监控模块、执行端管理模块(里面对应可能n个逻辑执行端)与日志模块(通过日志窗口显示日志)关系如图7所示。

本发明所述自动化测试系统中测试执行端是脚本执行机构，具体模块如图3所示。可以根据模块功能以及协同交互具体实施测试执行端：

所述通信模块与测试监控端通信模块采用客户端服务器模式，通信模块上层配置有命令解析模块实现命令的解析、分发与操作响应。操作命令分为两类：运行控制命令和配置管理命令。其中运行控制命令涉及到诸如运行、暂停等，这些操作直接影响到脚本的执行过程；配置管理辅助运行控制，提供包括测试环境配置、测试流程配置、用例优先级配置等。

所述脚本执行模块的核心是Tcl解释器，运行使用Tcl语言编写的测试用例脚本。执行流程详细涉及到脚本的执行、日志的输出、日志文件的生成和统计文件的生成。为了提高执行端的容错能力，测试执行端也提供异常记录、断点记录等信息。

所述脚本管理模块，主要功能就是根据来自测试监控端的执行列表同步本地的测试脚本，包括文件日期检查、文件获取等。在具体实施时可以采用CVS客户端工具实现脚本的同步，为了提高脚本同步效率，为本地测试脚本设置生存期限、超出生存期限的脚本从本地删除。当脚本每次执行时，就清零生存期限。

本发明所述自动化测试系统的守护管理器，作为测试执行端的一个短小精悍的守护者，与测试执行端部署在同一台计算机上，并且在计算机启动时启动。守护管理器与测试监控端采用客户端服务器模式通信，守护管理器作为服务器端运行；守护管理器负责创建、释放测试执行端进程，并通过进程间通信方式与测试执行端通信。

所述守护管理器系统结构中，执行端守护模块对测试执行端的守护进程随着测试执行端进程的创建而创建，测试执行端进程的正常退出而消亡，所不同的是，在测试执行端的整个执行过程中，守护进程不断监控测试执行端进程的状态，一旦测试执行端异常，执行端守护模块通知执行端管理模块进行异常处理。执行端管理模块根据异常处理策略，或者重启执行端，或者终止执行。

如图8所示，是本发明应用实例分布式自动化测试方法中守护管理器守护流程图，包括如下步骤：

步骤801，守护管理器创建所述测试执行端的进程；

步骤802，守护管理器创建守护进程守护测试执行端；

步骤803，判断测试执行端的进程是否存在：如果存在，转步骤804；如果不存在，转步骤805；

步骤804，延时一个守护周期后，转步骤803；

步骤805，判断测试进程是否执行完成：如果是，转步骤807；如果否，转步骤806；

步骤806，加载异常处理策略进行异常处理；

步骤807，通知执行端管理模块结束守护进程。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1、一种分布式自动化测试系统，其特征在于，所述系统包括测试用例服务器、至少一个测试监控端、至少一个测试执行端、以及为每个所述测试执行端配置的守护管理器，其中：

所述测试用例服务器，用于集中管理测试用例；

所述测试监控端，用于给测试人员提供操作接口，负责一个或多个所述测试执行端的监控；

所述测试执行端，用于接受一个或多个所述测试监控端的控制，负责测试用例的执行，测试日志的生成和测试结果的统计；

所述守护管理器，用于守护所述测试执行端，负责创建所述测试执行端的进程。

2、如权利要求1所述系统，其特征在于，所述测试用例服务器统一管理测试用例脚本，并用于负责所述测试用例脚本的版本管理、同步管理；用于导出测试用例脚本列表，导出测试用例脚本；还用于根据测试关键字导出测试任务。

3、如权利要求2所述系统，其特征在于，所述测试监控端包括通信模块、脚本管理模块、脚本编辑模块、配置管理模块、日志管理模块、执行端管理模块、远程监控模块和任务管理模块，其中：

所述通信模块负责与所述测试用例服务器的通信，负责维持与所述测试执行端的通信，进行数据传递与消息交互；

所述脚本管理模块负责从所述测试用例服务器导入测试用例脚本列表，下载或上传所述测试用例脚本；

所述脚本编辑模块负责所述测试用例脚本的编辑和属性配置；

所述配置管理模块负责所述测试执行端运行参数的配置、测试环境的配置、测试控制逻辑的配置；

所述日志管理模块负责日志输出队列的管理，日志输出窗口的管理；负责从所述通信模块读取测试日志，并输出到日志窗口；提供日志关键信息到所述监控模块，提供监控辅助信息；

所述执行端管理模块负责所述测试执行端登陆管理，维护所述测试执行端配置信息列表；接收来自所述监控模块的操作命令，并发送所述操作命令到所要控制的所述测试执行端；

所述监控模块是该测试监控端的枢纽，监视端通过所述任务管理模块获取所述测试执行端执行过程，根据控制命令生成测试流程控制逻辑；根据用户配置实现对多个所述测试执行端的监控或分布式监控，并行分析；

所述任务管理模块负责该测试监控端多任务的管理与调度，为所述监控模块提供当前测试任务的详细配置信息。

4、如权利要求3所述系统，其特征在于，所述测试执行端包括通信模块、脚本管理模块、任务管理模块、运行控制模块、配置管理模块、脚本执行模块、时间统计模块、结果统计模块、日志管理模块，其中：

所述通信模块负责与所述测试用例服务器的通信，负责与所述测试监控端的通信，进行数据传递与消息交互；

所述脚本管理模块根据执行用例列表同步本地测试用例脚本，并控制本地测试用例的生存期限，负责提供测试用例脚本到所述脚本执行模块；

所述任务管理模块接收操作任务，解析操作命令并分发到不同处理模块，所述命令包括运行控制命令、配置管理命令；负责测试任务的管理，测试任务队列的管理；

所述运行控制模块负责运行流程的控制、脚本执行顺序的控制、脚本执行结果提交；负责运行过程中的异常处理以及容错处理；负责测试脚本执行时间异常处理；

所述配置管理模块负责测试环境的配置、执行逻辑的配置、执行参数的配置；

所述脚本执行模块核心是工具命令语言Tcl解释器，负责测试支持库的加载、测试脚本的执行，测试日志输出；

所述时间统计模块负责统计测试脚本的执行时间，测试任务的执行时间，为所述运行控制模块提供时间判断依据；

所述结果统计模块负责统计测试脚本的执行结果，格式化执行结果并生成结果统计文件；

所述日志管理模块负责日志格式化并生成日志文件，负责发送测试日志到所述测试监控端；在多监控中，用于提交不同测试日志到不同测试监控端。

5、如权利要求4所述系统，其特征在于，所述守护管理器，还负责所述测试执行端的进程的监控、释放、异常处理，其包括通信模块、命令解析模块、执行端管理模块、执行端守护模块，其中：

所述通信模块负责与所述测试监控端的通信，进行数据传递与消息交互；

所述命令解析模块负责解析来自所述测试监控端的操作命令，并传送所述操作命令到所述执行端管理模块；

所述执行端管理模块根据解析出的操作命令控制所述测试执行端，包括启动所述测试执行端、退出所述测试执行端、所述测试执行端的状态管理，所述测试执行端状态包括在运行、空闲、未启动；创建所述测试执行端的守护进程、退出所述测试执行端的守护进程；

所述执行端守护模块负责监控所述测试执行端的执行过程，一旦所述测试执行端异常退出，通知所述执行端管理模块。

6、一种分布式自动化测试方法，其特征在于，包括如下步骤：

(1)测试监控端从测试用例服务器获取测试用例脚本列表以生成测试用例执行列表，然后所述测试监控端发送启动命令到一个或多个测试执行端对应的守护管理器，启动所述测试执行端后，提交所述测试用例执行列表到对应的所述测试执行端；

(2)所述测试执行端接收并根据所述测试用例执行列表从所述测试用例服务器获取测试用例脚本并执行，生成测试日志文件和结果统计文件；完成本次测试后，通知所述测试执行端对应的测试监控端；

(3)所述测试执行端对应的测试监控端从所述测试执行端提取所述生成的测试日志文件和结果统计文件，进行本地分析处理。

7、如权利要求6所述方法，其特征在于，步骤(1)中，所述测试监控端从测试用例服务器获取测试用例脚本列表以生成测试用例执行列表后，执行如下步骤：

(1.1)所述测试监控端浏览本地测试执行端列表，选择一个或多个测试执行端；

(1.2)所述测试监控端登陆到所述测试执行端对应的守护管理器，发送启动命令到所述测试执行端对应的守护管理器；

(1.3)所述测试执行端对应的守护管理器启动所述测试执行端后，通知该测试执行端对应的测试监控端；

(1.4)所述测试执行端对应的测试监控端登陆到该测试执行端，配置测试参数，生成测试控制参数列表；

(1.5)所述测试监控端提交所述测试控制参数列表和测试执行列表到该测试监控端对应的测试执行端。

8、如权利要求6所述方法，其特征在于，步骤(2)中，所述测试执行端执行测试用例脚本过程中，如果异常退出，则所述测试执行端对应的守护管理器重启该测试执行端，控制该测试执行端加载异常处理机制，继续执行所述测试用例脚本，并通知该测试执行端对应的测试监控端重新建立通信连接。

9、如权利要求6所述方法，其特征在于，步骤(2)中，所述测试执行端执行测试用例脚本过程中，还输出实时测试日志文件到其对应当的测试监控端，实现实时的测试日志浏览。

10、如权利要求6所述方法，其特征在于，步骤(3)中，所述测试执行端对应的测试监控端还发送控制命令到所述守护管理器，释放所述测试执行端的进程。

Images