CN111130927A - 一种网络层通信终端设备业务测试自动化实现方法 - Google Patents

Abstract

本发明公开了一种网络层通信终端设备业务测试自动化实现方法，将自动测试执行和被测设备硬件进行分层构建，分为设备层、设备控制层、测试执行层和测试管理层。本发明的积极效果是：采用分层构架，无论哪个层次发生改变只需要修改该层功能或接口，对其他层次功能或逻辑不会产生影响；通过设备控制层将被测通信终端设备抽象为逻辑设备，降低测试过程中对通信终端设备硬件依赖；通过软件自动化的方式对通信终端设备参数配置进行控制，解决手动执行耗时长，重复工作多的问题；能够通过软件自动化方式虚拟不同用户场景数据流，提高业务测试覆盖度；能够查询并反馈当前测试环境各个测试设备状态信息，提升测试结果可靠性，减少后期查找问题的时间成本。

Description

一种网络层通信终端设备业务测试自动化实现方法

技术领域

本发明涉及一种网络层通信终端设备业务测试自动化实现方法。

背景技术

目前，针对TCP/IP协议通信网络层通信终端设备业务测试过程中，需要对通信终端设备进行参数配置、修改、删除操作，需要将设备放入不同的通信环境中导致在测试过程中需要耗费大量时间对设备和环境进行配置，无法对环境形成有效管理。在业务测试中还需要手动配置和修改网络通信终端设备保护网络里的虚拟用户来模拟用户各种不同业务。综合以上原因，导致测试效率较低。

现有自动化测试方法，一方面无法提供与通信终端设备进行私有协议数据交换接口，无法完成对通信终端设备参数进行增、删、改操作；另一方面不能对通信终端设备测试环境进行状态感知，一旦测试过程中环境出错便无法对故障点进行判断，导致需要测试人员花费大量时间排除外在因素引起的测试错误；再一方面无法自动产生模拟用户不同应用场景的网络数据流。

发明内容

为了克服现有技术的上述缺点，本发明提供了一种网络层通信终端设备业务测试自动化实现方法。针对网络层通信终端设备在自动化测试应用场景中，通过本发明方法实现对通信终端设备业务实现自动化测试，主要解决的技术问题如下：

(1)在现有条件下通过模拟真实用户方式调用通信终端设备管理系统，利用管理系统后台私有协议打包、解析服务链接完成对通信终端设备参数进行增、删、改操作；

(2)通过该自动化测试方法对网络通信终端设备测试环境状态进行感知，当用例执行失败后自动对网络环境状态进行判断，保证用例执行结果可靠性；

(3)通过该方法调用数据流发生器软件接口自动产生模拟用户不同应用场景的网络数据流。

本发明解决其技术问题所采用的技术方案是：一种网络层通信终端设备业务测试自动化实现方法，将自动测试执行和被测设备硬件进行分层构建，分为设备层、设备控制层、测试执行层和测试管理层，其中：

所述设备层主要提供测试设备测试硬件环境、硬件接口以及生产数据流的硬件；

所述设备控制层将设备层以及环境抽象为逻辑软件环境，为上层测试脚本提供控制下层设备以及环境状态感知接口，并在控制层实现调用通信终端设备管理系统接口；

所述测试执行层主要包含测试脚本执行，测试用例读取和解析，调用设备控制层通信终端设备、流发生器配置、测试环境信息获取、通信终端设备日志信息获取等接口进行参数配置，接收设备控制层上报的执行信息并存储；

所述测试管理层主要包含测试任务配置，测试任务/脚本调用执行，处理执行测试过程中发生的异常，生成测试报告。

与现有技术相比，本发明的积极效果是：

(1)采用分层构架，无论哪个层次发生改变只需要修改该层功能或接口，对其他层次功能或逻辑不会产生影响；

(2)通过设备控制层将被测通信终端设备抽象为逻辑设备，降低测试过程中对通信终端设备硬件依赖；

(3)通过软件自动化的方式对通信终端设备参数配置进行控制，解决手动执行耗时长，重复工作多的问题；

(4)能够通过软件自动化方式虚拟不同用户场景数据流，提高业务测试覆盖度；

(5)能够查询并反馈当前测试环境各个测试设备状态信息，提升测试结果可靠性，减少后期查找问题的时间成本。

附图说明

本发明将通过例子并参照附图的方式说明，其中：

图1为一种网络层通信终端设备业务测试自动化方法整体架构；

图2为一种网络层通信终端设备业务测试自动化方法应用模型。

具体实施方式

本发明提出的网络通信终端设备业务自动化测试方法，是将网络通信终端设备自动化测试进行分层构建，分为设备层、设备控制层、自动化测试执行层、测试管理层。整体框架如图1所示。

(1)设备层

设备层，主要提供测试设备测试硬件环境、硬件接口以及生产数据流的硬件。通过将测试设备型号、测试硬件环境固化形成测试工装，将数据流发生装置接入测试工装内和通信终端设备构成完整的物理测试环境。

设备层由物理设备组成，包含被测网络层通信终端设备；固化的三层IP交换网络——指由数据通信设备包含交换机/路由器搭建组成的不同数据通信网络；数据流产生设备。物理设备上的硬件均具备控制接口，通过TCP协议与设备控制层软件建立连接，从而实现设备控制层对物理设备控制。

将被测通信终端设备放入测试环境后，上层应用通过调用设备控制层提供的控制接口对数据流发生器进行控制产生数据流。上层应用通过设备控制层接口，配置通信终端设备相关协议解析参数。配置完成后，首先数据流通过数据流发生器从网络接口N发出IP数据包，其次数据包经过网络层通信终端设备X进行私有协议打包处理，其次打包后的数据通过环境中的三层IP交换网络进行传输，其次通信终端设备Y接收到私有协议包数据后对私有协议包数据进行解析，并将解析后的数据返回到数据流发生器网络接口M。数据流发生器对接口N和接口M数据进行对比，并将比对结果反馈给设备控制层接口。

(2)设备控制层

设备控制层，将物理层设备以及环境抽象为逻辑软件环境即设备控制层，设备控制层为上层测试脚本提供控制下层设备以及环境状态感知接口，并在控制层实现调用通信终端设备管理系统接口。设备控制层通过通信终端设备管理接口实现对通信终端设备参数控制。通过使用TCP连接发送网络查询命令，对网络环境进行状态查询并将查询到的数据上报给测试执行层，实现对测试环境状态感知。

设备控制层将通信终端设备硬件设备虚拟为软件设备，对上层测试脚本提供通信终端设备参数配置接口，接口功能主要包含设备网络参数配置功能，私有协议模式配置功能，设备日志查询，设备规则查询，参数配置协议打包或解析等。对下层设备通过TCP或UDP连接设备，通过参数配置/查询协议将网络参数或工作模式同步到通信终端设备，并接受通信终端设备返回的同步结果，将结果反馈给测试执行层测试脚本。

测试执行层通过调用设备控制层网络参数配置功能接口以及模式配置功能，将需要配置给通信终端设备网络参数数据传递给设备控制层，设备控制层自动与设备层的物理设备建立连接通过数据同步协议将数据同步到物理层的通信终端设备，并将同步的数据结果返回到测试执行层。

设备控制层将固定的三层IP交换网络环境虚拟为软件环境。通过SSH登录网络环境中的路由交换设备，执行相关配置命令。主要包含设备配置信息查询，网络可达性查询等功能。如可执行网络检查命令如Ping命令。

测试执行层执行调用数据流发生器产生的数据流发生错误，如数据流不通，数据流存在丢包等问题时测试执行层通过调用设备控制层接口可查询网络环境中的路由交换设备配置信息，执行网络诊断命令等操作并将执行结果反馈到测试执行层便于测试人员分析测试执行失败原因便于排除环境因素导致的测试执行失败。

测试执行层测试脚本执行失败时，可通过设备控制层调用通信终端设备日志查询接口，日志查询接口自动与被测通信终端设备建立连接，通过参数配置/查询协议同步命令到被测通信终端设备，通信终端设备将日志信息上报给设备控制层，再通过日志查询接口将数据返回到测试执行层，测试脚本记录执行失败时被测通信终端设备日志信息，方便测试人员分析测试问题。

设备控制层将数据流发生器硬件设备抽象为软件设备，设备控制层通过TCP方式与数据流发生器建立连接，通过数据流发生器提供的软件接口调用，实现对数据流发生器网络端口占用，数据流开启/暂停，数据流统计信息获取，数据流参数配置包含数据流协议、发送数据流速率、数据流条数、数据流虚拟设备配置等功能。

测试执行层将需要配置流发生器数据通过调用流发生器提供的软件接口，将需要配置的数据传递给软件接口，软件接口与流发生器建立TCP连接，通过该连接将数据发送给数据流发生器。操作步骤：调用软件接口占用数据流发送接收端口；配置数据流参数；开始发送/接收数据流；读取统计数据。

(3)测试执行层

测试执行层，测试人员通过修改该层自动化测试脚本、写入不同通信终端设备数据和操作内容，需要模拟通信终端设备保护用户业务数据流等内容后通过自动化测试脚本调用测试控制层数据完成对物理层被测设备、测试环境、数据流发生器操作。

测试执行层主要包含测试脚本执行，测试用例读取和解析，调用设备控制层通信终端设备、流发生器配置、测试环境信息获取、通信终端设备日志信息获取等接口进行参数配置，接收设备控制层上报的执行信息并存储。

控制过程：S1读取测试执行机存储的测试用例。

S2根据测试用例生成通信终端设备参数配置信息。

S3调用设备控制层通信终端设备控制软件接口下发参数，并根据下发返回结果判断用例执行是否成功，成功继续执行，失败则调用设备控制层软件接口获取测试环境信息和通信终端设备日志，并将这些信息上报测试管理层。

S4配置成功则继续根据测试用例生成的流发生器配置，执行调用流发生器配置接口，失败则将失败信息上报到测试管理层，成功则循环获取流发生器数据流统计信息并对比上报统计信息。

S5判断统计信息：如果统计信息异常则用例执行失败，则调用设备控制层接口获取通信终端设备日志信息与执行失败信息一起上报到测试管理层。

(4)测试管理层

测试管理层，通过测试管理层调用编排测试执行层自动化脚本执行测试任务返回执行测试结果，记录测试过程日志。

测试管理层是测试人员进行操作的人机接口，测试管理层主要包含测试任务配置，测试任务/脚本调用执行，处理执行测试过程中发生的异常，生成测试报告。

测试任务配置通过测试管理层人机接口配置测试任务，测试任务包含配置待执行测试用例/脚本、执行路径、测试任务暂停/开启、测试任务新增/修改/删除等功能。

测试执行异常处理主要对测试任务执行过程进行监控，检测测试任务执行情况保存测试过程中的执行日志，判断测试执行进程是否死机起到一个看门狗的作用。

日志记录保存测试执行层上报的测试脚本调用设备控制接口执行返回结果；保存用例执行过程中通过调用设备控制层接口获取的被测通信终端设备工作日志；保存查询到测试设备所在网络环境查询和配置信息。

生成测试报告测试脚本返回的每条测试用例执行结果生成测试报告。测试报告内容包含测试执行层上报的用例执行结果；生成用例执行过程产生的日志与用例关联关系，方便测试人员查询执行结果信息。

本发明的技术核心，是通过使用该自动化测试方法可将自动测试执行和被测设备硬件最大限度地独立开来，减轻在测试过程对硬件设备的依赖从而实现对该网络通信终端设备的自动化测试。在测试执行层通过调用设备控制层提供的对网络通信终端设备控制接口实现对设备控制；通过调用流发生器控制接口虚拟出不同用户场景数据流；通过调用环境状态查询接口查询当前执行环境信息，排除因环境引起的执行失败。该自动化测试方法应用模型如图2所示。

Claims (9)

1.一种网络层通信终端设备业务测试自动化实现方法，其特征在于：将自动测试执行和被测设备硬件进行分层构建，分为设备层、设备控制层、测试执行层和测试管理层，其中：

所述设备层主要提供测试设备测试硬件环境、硬件接口以及生产数据流的硬件；

所述设备控制层将设备层以及环境抽象为逻辑软件环境，为上层测试脚本提供控制下层设备以及环境状态感知接口，并在控制层实现调用通信终端设备管理系统接口；

所述测试执行层主要包含测试脚本执行，测试用例读取和解析，调用设备控制层通信终端设备、流发生器配置、测试环境信息获取、通信终端设备日志信息获取等接口进行参数配置，接收设备控制层上报的执行信息并存储；

所述测试管理层主要包含测试任务配置，测试任务/脚本调用执行，处理执行测试过程中发生的异常，生成测试报告。

2.根据权利要求1所述的一种网络层通信终端设备业务测试自动化实现方法，其特征在于：所述设备层由物理设备组成，包含被测网络层通信终端设备、固化的三层IP交换网络和数据流产生设备，所述物理设备上的硬件均具备控制接口，通过TCP协议与设备控制层软件建立连接。

3.根据权利要求2所述的一种网络层通信终端设备业务测试自动化实现方法，其特征在于：所述设备控制层将被测通信终端硬件设备虚拟为软件设备，对上层测试脚本提供通信终端设备参数配置接口，对下层设备通过TCP或UDP连接设备，通过参数配置/查询协议将网络参数或工作模式同步到通信终端设备，并接受通信终端设备返回的同步结果，将结果反馈给测试执行层测试脚本；所述测试执行层通过调用设备控制层网络参数配置功能接口以及模式配置功能，将需要配置给通信终端设备网络参数数据传递给设备控制层，设备控制层自动与设备层的物理设备建立连接通过数据同步协议将数据同步到物理层的通信终端设备，并将同步的数据结果返回到测试执行层。

4.根据权利要求3所述的一种网络层通信终端设备业务测试自动化实现方法，其特征在于：所述通信终端设备参数配置接口功能主要包含设备网络参数配置功能，工作模式配置功能，设备日志查询，设备规则查询，参数配置协议打包或解析。

5.根据权利要求2所述的一种网络层通信终端设备业务测试自动化实现方法，其特征在于：所述设备控制层将固化的三层IP交换网络环境虚拟为软件环境，通过SSH登录网络环境中的路由交换设备，执行相关配置命令；所述测试执行层执行调用数据流产生设备产生的数据流发生错误时，则通过调用设备控制层接口查询网络环境中的路由交换设备配置信息，执行网络诊断命令操作并将执行结果反馈到测试执行层；所述测试执行层测试脚本执行失败时，通过设备控制层调用通信终端设备日志查询接口，日志查询接口自动与被测通信终端设备建立连接，通过参数配置/查询协议同步命令到被测通信终端设备，通信终端设备将日志信息上报给设备控制层，再通过日志查询接口将数据返回到测试执行层，测试脚本记录执行失败时被测通信终端设备日志信息。

6.根据权利要求2所述的一种网络层通信终端设备业务测试自动化实现方法，其特征在于：所述设备控制层将数据流产生设备抽象为软件设备，通过TCP方式与数据流产生设备建立连接，通过数据流产生设备提供的软件接口调用，实现对数据流产生设备网络端口占用，数据流开启/暂停，数据流统计信息获取，数据流参数配置功能；所述测试执行层将需要配置的流发生器数据通过调用流发生器提供的软件接口，将需要配置的数据传递给软件接口，软件接口与流发生器建立TCP连接，通过该连接将数据发送给数据流发生器。

7.根据权利要求6所述的一种网络层通信终端设备业务测试自动化实现方法，其特征在于：数据流参数配置包含数据流协议、发送数据流速率、数据流条数、数据流虚拟设备配置。

8.根据权利要求1所述的一种网络层通信终端设备业务测试自动化实现方法，其特征在于：所述测试执行层的测试控制过程包括：

S1、读取测试执行机存储的测试用例；

S2、根据测试用例生成通信终端设备参数配置信息；

S3、调用设备控制层通信终端设备控制软件接口下发参数，并根据下发返回结果判断用例执行是否成功：若失败则调用设备控制层软件接口获取测试环境信息和通信终端设备日志，并将这些信息上报测试管理层；若成功，则继续执行S4；

S4、根据测试用例生成的流发生器配置，执行调用流发生器配置接口，循环获取流发生器数据流统计信息；

S5判断统计信息是否异常：若正常，则上报统计信息；若异常则调用设备控制层接口获取通信终端设备日志信息与执行失败信息一起上报到测试管理层。

9.根据权利要求1所述的一种网络层通信终端设备业务测试自动化实现方法，其特征在于：所述测试任务包含配置待执行测试用例/脚本、执行路径、测试任务暂停/开启、测试任务新增/修改/删除；所述测试报告内容包含测试执行层上报的用例执行结果、生成用例执行过程产生的日志与用例关联关系。

Images