[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN109977017B - 一种系统性能测试例筛选方法及系统 - Google Patents

一种系统性能测试例筛选方法及系统 Download PDF

Info

Publication number
CN109977017B
CN109977017B CN201910244606.2A CN201910244606A CN109977017B CN 109977017 B CN109977017 B CN 109977017B CN 201910244606 A CN201910244606 A CN 201910244606A CN 109977017 B CN109977017 B CN 109977017B
Authority
CN
China
Prior art keywords
index
module
screening
fault signal
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910244606.2A
Other languages
English (en)
Other versions
CN109977017A (zh
Inventor
胡阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Fenbi Lantian Technology Co ltd
Original Assignee
Beijing Fenbi Lantian Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Fenbi Lantian Technology Co ltd filed Critical Beijing Fenbi Lantian Technology Co ltd
Priority to CN201910244606.2A priority Critical patent/CN109977017B/zh
Publication of CN109977017A publication Critical patent/CN109977017A/zh
Application granted granted Critical
Publication of CN109977017B publication Critical patent/CN109977017B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/36Preventing errors by testing or debugging software
    • G06F11/3668Software testing
    • G06F11/3672Test management
    • G06F11/3684Test management for test design, e.g. generating new test cases

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明公开了一种系统性能测试例筛选方法,包括:获取系统性能故障信号;将系统进行多层级逐次划分、并依次对每一层级筛选得到问题模块;对问题模块按预设方法筛选,得到测试例。本发明通过对系统,尤其是分布式系统进行分类,按功能对系统进行逐个层级划分,形成树状结构,对梳理好的树状结构中的最小单元进行测试,找出测试例。降低了测试难度,减少了测试次数,提高了测试效率。

Description

一种系统性能测试例筛选方法及系统
技术领域
本发明涉及系统信息分析领域,特别涉及一种系统性能测试例筛选方法及系统。
背景技术
随着互联网技术的发展,互联网设备趋向于复杂化和多样化,互联网企业的信息化系统也逐渐面向分布式、高性能和平台化的方向发展。性能是评价分布式系统的一项重要指标,也是企业在进行信息化建设时考虑的重要标准。性能测试在本质上是从测试用例的集合中选取一部分测试用例并进行测试,发掘影响系统性能的主要因素,然后对系统做出相应的修改、调整与完善。由于分布式系统的输入域规模大,复杂程度高,想高效地选用测试用例十分困难。因此,性能测试的关键在于在选取尽可能少的测试用例的同时,尽可能多的暴露系统的性能缺陷。如何选取测试例就变得尤为重要。
现有技术中常用的测试用例选取方法包括手动选取法、等价类划分法、边界值法和因果图法。但这些方法往往存在着弊端,例如:手动选取法存在主观性强、具有较大的盲目性与不确定性问题;等价类划分法存在着等价关系难以确定的问题;边界值法存在着缺陷监测效率较低的问题;因果图法存在着条件与结果的依赖关系难以确定等问题。
发明内容
(一)发明目的
本发明的目的是提供一种系统性能测试例筛选方法及系统,通过对系统,尤其是分布式系统进行分类,按功能对系统进行逐个层级划分,形成树状结构,对梳理好的树状结构中的最小单元进行测试,找出测试例。降低了测试难度,提高了测试效率。
(二)技术方案
为解决上述问题,本发明的第一方面提供了一种系统性能测试例筛选方法,包括:
获取系统性能故障信号;将系统进行多层级逐次划分、并依次对每一层级筛选得到问题模块;对问题模块按预设方法筛选,得到测试例。
进一步的,将系统进行多层级逐次划分、并依次对每一层级筛选得到问题模块的步骤包括:
将系统划分为硬件、软件以及业务子系统区域,基于故障信号对分别对区域进行筛选,得到可疑区域;将可疑区域划分为多个功能模块,并对功能模块进行筛选,得到问题模块。
进一步的,将系统划分为硬件、软件以及业务子系统区域,基于故障信号对分别对区域进行筛选,得到可疑区域的步骤包括:
获取每个区域的指标参数;判断故障信号与指标参数是否存在重合区间,若是,则为可疑区域,若否,则为非可疑区域。
进一步的,将系统划分为硬件、软件以及业务子系统区域,基于故障信号对分别对区域进行筛选,得到可疑区域的步骤包括:
指标参数包括使用指标、查询指标和/或处理指标。
获取硬件区域的使用指标、软件区域的查询指标和/或业务子系统区域的处理指标;判断故障信号与使用指标是否存在重合区间,若是,则为第一可疑区域,若否,则为非可疑区域;判断故障信号与查询指标是否存在重合区间,若是,则为第二可疑区域,若否,则为非可疑区域;和/或判断故障信号与处理指标是否存在重合区间,若是,则为第三可疑区域,若否,则为非可疑区域。
进一步的,将可疑区域划分为多个功能模块,并对功能模块进行筛选,得到问题模块的步骤包括:
第一可疑区域包括至少一个第一功能模块,每个第一功能模块对应的一使用指标;第二可疑区域包括至少一个第二功能模块,每个第二功能模块对应的一查询指标;第三可疑区域包括至少一个第三功能模块,每个第三功能模块对应的一处理指标。
获取与每个功能模块对应使用指标、软件区域的查询指标和/或处理指标;判断重合区间内的使用指标是否在第一阈值区间,若是,则为第一问题模块,若否,则为非问题模块;判断重合区间内的查询指标是否在第二阈值区间,若是,则为第二问题模块,若否,则为非问题模块。和/或判断重合区间内的处理指标是否在第三阈值区间,若是,则为第三问题模块,若否,则为非问题模块。
进一步的,对问题模块按预设方法筛选,得到测试例的步骤包括:
判断每个问题模块是否为最小层级单位,若是,则对其内的各节点按预设方法进行筛选,得到测试例;若否,则继续进行层级划分并进行相应的筛选直至形成最小层级单位。其中,最小层级单位为无法进行层级划分的单元。
进一步的,对问题模块按预设方法筛选,得到测试例的步骤还包括提取每个问题模块中交叉的节点只进行一次筛选,对其他节点筛选,得到测试例。
本发明的另一方面提供了一种系统性能测试例筛选系统,包括:
预警模块,用于获取系统性能故障信号并发送;第一处理模块,用于将系统进行层级逐次划分、并依次对每一层级筛选得到问题模块;以及第二处理模块,用于对问题模块按预设方法筛选,得到测试例。
进一步的,第一处理模块还用于将系统划分为硬件、软件以及业务子系统区域,基于故障信号对分别对区域进行筛选,得到可疑区域;以及用于将可疑区域划分为多个功能模块,并对功能模块进行筛选,得到问题模块。
进一步的,第一处理模块包括:第一通讯单元,用于获取每个区域的指标参数;第一处理单元,用于判断故障信号与指标参数是否存在重合区间,若是,则为可疑区域,若否,则为非可疑区域。
进一步的,指标参数包括使用指标、查询指标和/或处理指标。
第一通讯单元,还用于获取硬件区域的使用指标、软件区域的查询指标和/或业务子系统区域的处理指标;第一处理单元,还用于判断故障信号与使用指标是否存在重合区间,若是,则为第一可疑区域,若否,则为非可疑区域;还用于判断故障信号与查询指标是否存在重合区间,若是,则为第二可疑区域,若否,则为非可疑区域;和/或用于判断故障信号与处理指标是否存在重合区间,若是,则为第三可疑区域,若否,则为非可疑区域。
进一步的,第一可疑区域包括至少一个第一功能模块,每个第一功能模块对应的一使用指标;第二可疑区域包括至少一个第二功能模块,每个第二功能模块对应的一查询指标;第三可疑区域包括至少一个第三功能模块,每个第三功能模块对应的一处理指标。
第二通讯单元,还用于获取与每个功能模块对应使用指标、软件区域的查询指标和/或处理指标;第二处理单元,还用于判断重合区间内的使用指标是否在第一阈值区间的第一阈值范围内,若是,则为第一问题模块,若否,则为非问题模块;还用于判断重合区间内的查询指标是否在第二阈值区间的第二阈值范围内,若是,则为第二问题模块,若否,则为非问题模块;和/或用于判断重合区间内的处理指标是否在第三阈值区间的第三阈值范围内,若是,则为第三问题模块,若否,则为非问题模块。
进一步的,第二处理模块还包括:第三处理单元,用于判断每个问题模块是否为最小层级单位,若是,则对其内的各节点按预设方法进行筛选,得到测试例;若否,则继续进行层级划分并进行相应的筛选直至形成最小层级单位;最小层级单位为无法进行层级划分的单元。
进一步的,第二处理模块还包括第四处理单元,用于提取每个问题模块中交叉的节点只进行一次筛选,对其他节点筛选,得到测试例。
技术方案小结
本发明是通过对系统,尤其是分布式系统进行分类,按功能对系统进行逐个层级划分,形成树状结构,对梳理好的树状结构中非影响的枝节进行剪枝,对梳理好的树状结构中起到影响作用的枝节,选出其最小节点进行测试,找出测试例。
(三)有益效果
不需要对系统中的每个区域每个部分逐个筛选,只需将梳理好的问题部分的节点进行测试,减少了测试数量、提高了测试效率。避免了人为选取的主观因素的影响,降低了测试的盲目性和不确定性,提高了测试的条理性和准确率;逐级分类,作用于最小单位,避免了监测效率低和依赖关系难以确定的问题,从而降低了测试难度。
附图说明
图1是系统性能测试例筛选方法流程图;
图2是系统多个层级划分方法流程图;
图3对系统进行可疑区域筛选的方法流程图;
图4是另一实施例中对系统进行可疑区域筛选的方法流程图;
图5对系统的可疑区域内的问题模块筛选的方法流程图;
图6是另一实施例对系统的可疑区域内的问题模块筛选的方法流程图;
图7对系统的问题模块内测试例筛选的方法流程图;
图8是根据本发明第二实施方式系统性能测试例筛选系统结构及连接关系示意图。
附图标记:
100:预警模块;101:通讯模块;200:第一处理模块;201:第一通讯单元;202:第一处理单元;203:第二通讯单元;204:第二处理单元;300:第二处理模块;301:第三处理单元;302:第四处理单元;303:第三通讯模块。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明了,下面结合具体实施方式并参照附图,对本发明进一步详细说明。应该理解,这些描述只是示例性的,而并非要限制本发明的范围。此外,在以下说明中,省略了对公知结构和技术的描述,以避免不必要地混淆本发明的概念。
显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在本发明的描述中,需要说明的是,术语“第一”、“第二”、“第三”仅用于描述目的,而不能理解为指示或暗示相对重要性。
此外,下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
请参阅图1,图1是系统性能测试例筛选方法流程图。
根据本申请一实施方式提供的一种系统性能测试例筛选方法,如图1所示,包括:
S1:获取系统性能故障信号。
S2:将系统进行层级逐次划分、并依次对每一层级筛选得到问题模块。
S3:对问题模块按预设方法筛选,得到测试例。
其中S1、S2、S3仅为更好的区分步骤,并不代表各个步骤之间的工作循序。
通过上述梳理步骤,形成树状结构,结合预设方法进行扩散筛选,能够有效地发现影响分布式系统性能的测试例;可降低测试难度,减少测试次数。其中,预设方法包括但不限于黄金分割法和二分法。
请参阅图2,图2是系统多个层级划分方法流程图。
在一可选实施例中,如图2所示,步骤S2包括:
S21:将系统划分为硬件、软件以及业务子系统区域,基于故障信号对分别对区域进行筛选,得到可疑区域。
S22:将可疑区域划分为多个功能模块,并对功能模块进行筛选,得到问题模块。其中,硬件区域可以分为CPU,内存,磁盘,网卡等模块。软件区域可以分为数据库MySQL,内存数据库Redis,消息队列kafka等模块。业务子系统区域可以分为web业务系统模块,rpc业务系统模块,业务底层支撑系统模块。但不限于上述列举,具体可根据测试项目而重新设定。
请参阅图3,图3对系统进行可疑区域筛选的方法流程图。
在一可选实施例中,如图3所示,步骤S21包括:
S211:获取每个区域的指标参数。
S212:判断故障信号与指标参数是否存在重合区间区间,若是,则为可疑区域,若否,则为非可疑区域。
故障信号一般都是通过监控告警系统,或者通过收集日志,命令等方式获取。硬件系统的故障信号,一般是通过监控告警系统获取,比如CPU使用率百分之百,内存使用率百分之百,都是监控告警可以监控的。软件故障信号,比如mysql慢查询数量过多,监控告警也可以监控,如果没有,也可以通过mysql自身的命令或者日志获取。业务系统故障信号,比如单次请求处理时间过长,一般是通过日志获取。
请参阅图4,图4是另一实施例中对系统进行可疑区域筛选的方法流程图。
在另一可选实施例中,指标参数包括使用指标、查询指标和/或处理指标,如图4所示,步骤S21还包括:
S211′:获取硬件区域的使用指标、软件区域的查询指标和/或业务子系统区域的处理指标。
S212′:判断故障信号与使用指标是否存在重合区间,若是,则为第一可疑区域,若否,则为非可疑区域。
S213′:判断故障信号与查询指标是否存在重合区间,若是,则为第二可疑区域,若否,则为非可疑区域。和/或
S214′:判断故障信号与处理指标是否存在重合区间,若是,则为第三可疑区域,若否,则为非可疑区域。
其中使用指标可以为CPU使用率、内存使用率、磁盘IO吞吐量、网卡传输速率等,但不限于此。当故障信号为CPU使用率、内存使用率、磁盘IO吞吐量、网卡传输速率任意一个时,可以认为是硬件区域出现问题。以下不再举例赘述。
查询指标可以为MySqL慢查询数量、Redis执行速率、kafka未处理消息数量。处理指标可以为web业务系统的非法状态码的错误请求数量、rpc业务系统的慢请求数量或业务底层支撑系统的数据传输时间等。
请参阅图5,图5对系统的可疑区域内的问题模块筛选的方法流程图。
在一可选是实施例中,每个可疑区域包括至少一个功能模块,如图5所示,步骤S22包括:
S221:获取与每个功能模块对应的指标参数。
S222:分别判断每个指标参数值是否在该功能模块的阈值范围内,若是,则为问题模块,若否,则为非问题模块。
请参阅图6,图6是另一实施例对系统的可疑区域内的问题模块筛选的方法流程图。
在一可选实施例中,第一可疑区域包括至少一个第一功能模块,每个第一功能模块对应的一使用指标;第二可疑区域包括至少一个第二功能模块,每个第二功能模块对应的一查询指标;第三可疑区域包括至少一个第三功能模块,每个第三功能模块对应的一处理指标;如图6所示,步骤S22包括:
S221′:获取与每个功能模块对应使用指标、软件区域的查询指标和/或处理指标。
S222′:判断重合区间内的使用指标是否在第一阈值区间,若是,则为第一问题模块,若否,则为非问题模块。第一阈值区间可以为一个点值,也可以为一区间值,例如百分之百,90%-100%,还可以以磁盘上限或网卡传输上限等作为第一阈值区间的参考标准。其中,本步骤中的重合区间位于第一可疑区域。
S223′:判断重合区间内的查询指标是否在第二阈值区间,若是,则为第二问题模块,若否,则为非问题模块。第二阈值区间可以为一个点值也可以为一个区间值,例如,50-100,5000等,但不限于上述列举。
和/或
S224′:判断重合区间内的处理指标是否在第三阈值区间,若是,则为第三问题模块,若否,则为非问题模块。第三阈值可以为点值,也可以为区间值;例如在web业务部分,非法状态码500,一般认为是服务器端业务代码错误导致的。状态码为500的请求数量,可以认为是第三阈值。或者比如在rpc业务系统,一般为企业内部内部各个系统调用,由于都是服务器内网通信,并且服务器性能比较好,所以速度一般不会慢,如果超过一定时间,比如0.1-0.5s,则认为rpc请求过慢,是需要解决的故障,则0.1-0.5s为第三阈值区间。又比如业务底层支撑系统的数据传输时间过长。业务底层数据支撑系统为上层各业务系统定期传输数据,如果传输时间过长,比如超过三分钟,基本认为是有问题的。其中的三分钟则为第三阈值区间。
请参阅图7,图7对系统的问题模块内测试例筛选的方法流程图。
在一可选实施例中,如图7所示,步骤S3包括:
S31:判断每个问题模块是否为最小层级单位,若是,则执行步骤S32:对其内的各节点按预设方法进行筛选,得到测试例。
S33:若否,则继续进行层级划分并进行相应的筛选直至形成最小层级单位。
最小层级单位为无法进行层级划分的单元。
在一可选实施例中,如图7所示,步骤S3还包括:
S34:提取每个问题模块中交叉的节点只进行一次筛选,对其他节点筛选,得到测试例。
在本实施例中,以对软件区域继续划分为例进行说明:背景为网络传输速度是影响系统性能的重要因素。网络带宽是网络传输速度的重要配置参数,如果系统的处理速度是由于网络传输速度过慢而不及预期,则提高网络带宽,系统的处理速度会相应提高。在理想情况下,二者应该是等比例提高。在本项目中,网络带宽的速度是由网络软件的配置决定的。网络软件为思科网络助手(Cisco Network Assistant)。在软件下面,划分有操作系统软件,网络软件,数据库软件等。第三层在网络软件下面划分有,网络传输速度,网络时延,网络丢包率等各个影响因素。第四层在网络传输速度下面有网络带宽。根据当时条件,网络带宽的范围在100MB-16GB/S的范围内。因此,利用二分法,挑选的网络带宽的测试例选取为100MB/S、200MB/S、400MB/S、800MB/S、1.6GB/S、3.2GB/S、6.4GB/S、12.8GB/S、16GB/S。
测试结果表明,随着网络带宽的提高,系统性能仍旧基本不变,保持在低位。因此可以认为,网络带宽不是系统处理速度的瓶颈。
样例二:项目背景:企业为某项目搭建分布式系统A,搭建完成后发现系统处理速度不及预期,只有预估性能的10%。遂挑选测试用例,进行性能测试。
样例背景:在分布式系统A中,利用内存数据库Redis来存储经常被访问的数据,由于内存数据库的访问速度相比传统数据库会更快,所以会提高系统访问速度。在Redis数据库中,有一项配置叫做单个数据实例大小,指的是Redis中单个数据实例的大小。如果需要存储的数据大于该设置,则会被拆分成多份。例如,设置单个数据实例的大小的配置为1KB。则当需要存储的数据为3KB时,会被分为3份存储。单个数据实例的大小如果设置过大,会导致存储空间的浪费。单个数据实例的大小如果过小,则会导致数据分片过多,也影响性能。
具体流程:根据专利提出的方法,构建树状结构。第一层为根节点,第二层分为硬件,软件和业务。在软件下面,划分有操作系统软件,网络软件,数据库软件等。第三层在数据库软件下面划分有mysql软件,redis软件等各个影响因素。第四层在redis软件下面有redis内存大小,redis实例个数,redis单个数据实例大小等。根据当时条件,redis单个实例大小的范围在1KB-1MB的范围内。因此,利用二分法,挑选的单个数据实例大小的测试用例选取为1KB、2KB、4KB、8KB、16KB、32KB、64KB、128KB、256KB、512KB、1MB。
测试结果表明,随着单个数据实例大小的提高,系统的性能先升高后降低。在64KB时,redis性能达到最高。此时系统的处理速度相比单个数据实例大小设置为1KB时提高10%。但单个数据实例大小仍旧不是系统处理速度的瓶颈所在。
需要说明的是,本申请上述实施例中涉及到的步骤序号并非表示对步骤执行顺序的限定,其中的步骤可以调换顺序或同时执行。另外,本申请中所涉及的阈值区间并非为固定值,可以根据具体的企业项目进行调整。如上所给出的说明样例所示。
由于一种系统性能测试例筛选系统是执行系统性能测试例筛选方法的配套设备,结合对系统性能测试例筛选方法的描述,不再对系统性能测试例筛选系统的实施例进行赘述。
本申请系统性能测试例筛选系统的各个实施例请参阅图8理解,图8是根据本发明第二实施方式系统性能测试例筛选系统结构及连接关系示意图。
根据本申请另一实施方式提供的一种系统性能测试例筛选系统,其特征在于,包括:
预警模块100,用于获取系统性能故障信号并发送。预警模块100内还设置有通讯模块101,用于发送所述故障信号。
第一处理模块200,用于将系统进行层级逐次划分、并依次对每一层级筛选得到问题模块。
第二处理模块300,用于对问题模块按预设方法筛选,得到测试例。
在一可选实施例中,第一处理模块200还用于将系统划分为硬件、软件以及业务子系统区域,基于故障信号对分别对区域进行筛选,得到可疑区域;以及用于将可疑区域划分为多个功能模块,并对功能模块进行筛选,得到问题模块。
在一可选实施例中,第一处理模块200包括:
第一通讯单元201,用于获取每个区域的指标参数。
第一处理单元202,用于判断故障信号与指标参数是否在存在重合区间,若是,则为可疑区域,若否,则为非可疑区域。
在一可选实施例中,指标参数包括使用指标、查询指标和/或处理指标。
第一通讯单元201,还用于获取硬件区域的使用指标、软件区域的查询指标和/或业务子系统区域的处理指标;
第一处理单元202,还用于判断故障信号与使用指标是否存在重合区间,若是,则为第一可疑区域,若否,则为非可疑区域;还用于判断故障信号与查询指标是否存在重合区间,若是,则为第二可疑区域,若否,则为非可疑区域;和/或用于判断故障信号与处理指标是否存在重合区间,若是,则为第三可疑区域,若否,则为非可疑区域。
在一可选实施例中,每个可疑区域包括至少一个功能模块;第一处理模块200包括:
第二通讯单元203,用于获取与每个功能模块对应的指标参数;
第二处理单元204,用于分别判断每个指标参数值是否在该功能模块的阈值范围内,若是,则为问题模块,若否,则为非问题模块。
在一可选实施例中,第一可疑区域包括至少一个第一功能模块,每个第一功能模块对应的一使用指标;第二可疑区域包括至少一个第二功能模块,每个第二功能模块对应的一查询指标;第三可疑区域包括至少一个第三功能模块,每个第三功能模块对应的一处理指标。
第二通讯单元203,用于获取与每个功能模块对应使用指标、软件区域的查询指标和/或处理指标;第二处理单元204,用于判断重合区间内的使用指标是否在第一阈值区间,若是,则为第一问题模块,若否,则为非问题模块;还用于判断重合区间内的查询指标是否在第二阈值区间,若是,则为第二问题模块,若否,则为非问题模块;和/或用于判断重合区间内的处理指标是否在第三阈值区间,若是,则为第三问题模块,若否,则为非问题模块。
在一可选实施例中,第二处理模块300还包括:
第三处理单元301,用于判断每个问题模块是否为最小层级单位,若是,则对其内的各节点按预设方法进行筛选,得到测试例;若否,则继续进行层级划分并进行相应的筛选直至形成最小层级单位;
最小层级单位为无法进行层级划分的单元。
在一可选实施例中,第二处理模块300还包括:
第四处理单元302,用于提取每个问题模块中交叉的节点只进行一次筛选,对其他节点筛选,得到测试例。需要说明的是,第二处理模块还包括第三通讯模块303,用于将筛选得到的测试例向外部系统汇报。
本发明旨在保护一种系统性能测试例筛选方法及系统。通过对系统,尤其是分布式系统进行分类,按功能对系统进行逐个层级划分,形成树状结构,对梳理好的树状结构中非影响的枝节进行剪枝,对梳理好的树状结构中起到影响作用的枝节,选出其最小节点进行测试,找出测试例。不需要对系统中的每个区域每个部分逐个筛选,只需将梳理好的问题部分的节点进行测试,减少了测试数量、提高了测试效率。避免了人为选取的主观因素的影响,降低了测试的盲目性和不确定性,提高了测试的条理性和准确率;逐级分类,作用于最小单位,避免了监测效率低和依赖关系难以确定的问题,从而降低了测试难度。
应当理解的是,本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理,而不构成对本发明的限制。因此,在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。此外,本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。

Claims (11)

1.一种系统性能测试例筛选方法,其特征在于,包括:
获取系统性能故障信号,所述故障信号包括:硬件系统的故障信号、软件故障信号和业务系统故障信号;
将所述系统划分为硬件、软件以及业务子系统区域,获取每个所述区域的指标参数,基于所述故障信号分别对所述区域进行筛选;
判断所述故障信号与指标参数是否存在重合区间,若是,则为可疑区域,若否,则为非可疑区域;
将所述可疑区域划分为多个功能模块,并对所述功能模块进行筛选,得到问题模块;
对所述问题模块按预设方法筛选,得到测试例。
2.根据权利要求1所述的筛选方法,其中,
所述指标参数包括使用指标、查询指标和/或处理指标;
获取硬件区域的使用指标、软件区域的查询指标和/或业务子系统区域的处理指标;
判断所述故障信号与所述使用指标是否存在重合区间,若是,则为第一可疑区域,若否,则为非可疑区域;
判断所述故障信号与所述查询指标是否存在重合区间,若是,则为第二可疑区域,若否,则为非可疑区域;和/或
判断所述故障信号与所述处理指标是否存在重合区间,若是,则为第三可疑区域,若否,则为非可疑区域。
3.根据权利要求2所述的筛选方法,其中,将所述可疑区域划分为多个功能模块,并对所述功能模块进行筛选,得到问题模块的步骤包括:
所述第一可疑区域包括至少一个第一功能模块,每个第一功能模块对应的一使用指标;
所述第二可疑区域包括至少一个第二功能模块,每个第二功能模块对应的一查询指标;
所述第三可疑区域包括至少一个第三功能模块,每个第三功能模块对应的一处理指标;
获取与每个功能模块对应使用指标、软件区域的查询指标和/或处理指标;
判断所述重合区间内的使用指标是否在第一阈值区间,若是,则为第一问题模块,若否,则为非问题模块;
判断所述重合区间内的查询指标是否在第二阈值区间,若是,则为第二问题模块,若否,则为非问题模块;和/或
判断所述重合区间内的处理指标是否在第三阈值区间,若是,则为第三问题模块,若否,则为非问题模块。
4.根据权利要求1所述的筛选方法,其中,对所述问题模块按预设方法筛选,得到测试例的步骤包括:
判断每个所述问题模块是否为最小层级单位,若是,则对其内的各节点按预设方法进行筛选,得到测试例;
若否,则继续进行层级划分并进行相应的筛选直至形成最小层级单位;
所述最小层级单位为无法进行层级划分的单元。
5.根据权利要求4所述的筛选方法,其中,对所述问题模块按预设方法筛选,得到测试例的步骤还包括:
提取每个所述问题模块中交叉的节点只进行一次筛选,对其他节点筛选,得到测试例。
6.一种系统性能测试例筛选系统,其特征在于,包括:
预警模块,用于获取系统性能故障信号并发送,所述故障信号包括:硬件系统的故障信号、软件故障信号和业务系统故障信号;
第一处理模块,用于将所述系统进行多层级逐次划分、并依次对每一所述层级筛选得到问题模块;所述第一处理模块还用于将所述系统划分为硬件、软件以及业务子系统区域,基于所述故障信号分别对所述区域进行筛选,得到可疑区域;以及用于将所述可疑区域划分为多个功能模块,并对所述功能模块进行筛选,得到问题模块;
第二处理模块,用于对所述问题模块按预设方法筛选,得到测试例;
所述第一处理模块包括:
第一通讯单元,用于获取每个所述区域的指标参数;
第一处理单元,用于判断所述故障信号与指标参数是否存在重合区间,若是,则为可疑区域,若否,则为非可疑区域。
7.根据权利要求6所述的筛选系统,其中,
所述第一处理模块还包括:
第二通讯单元,用于获取与每个所述功能模块对应的指标参数;
第二处理单元,用于分别判断每个所述指标参数是否在该功能模块的阈值范围内,若是,则为问题模块,若否,则为非问题模块。
8.根据权利要求7所述的筛选系统,其中,
所述指标参数包括使用指标、查询指标和/或处理指标;
第一通讯单元,还用于获取硬件区域的使用指标、软件区域的查询指标和/或业务子系统区域的处理指标;
第一处理单元,还用于判断所述故障信号与所述使用指标是否存在重合区间,若是,则为第一可疑区域,若否,则为非可疑区域;还用于判断所述故障信号与所述查询指标是否存在重合区间,若是,则为第二可疑区域,若否,则为非可疑区域;和/或用于判断所述故障信号与所述处理指标是否存在重合区间,若是,则为第三可疑区域,若否,则为非可疑区域。
9.根据权利要求8所述的筛选系统,其中,
所述第一可疑区域包括至少一个第一功能模块,每个第一功能模块对应的一使用指标;
所述第二可疑区域包括至少一个第二功能模块,每个第二功能模块对应的一查询指标;
所述第三可疑区域包括至少一个第三功能模块,每个第三功能模块对应的一处理指标;
所述第二通讯单元,还用于获取与每个功能模块对应使用指标、软件区域的查询指标和/或处理指标;
所述第二处理单元,还用于判断所述重合区间内的使用指标是否在第一阈值区间,若是,则为第一问题模块,若否,则为非问题模块;还用于判断所述重合区间内的查询指标是否在第二阈值区间,若是,则为第二问题模块,若否,则为非问题模块;和/或用于判断所述重合区间内的处理指标是否在第三阈值区间,若是,则为第三问题模块,若否,则为非问题模块。
10.根据权利要求6所述的筛选系统,其中,所述第二处理模块还包括:
第三处理单元,用于判断每个所述问题模块是否为最小层级单位,若是,则对其内的各节点按预设方法进行筛选,得到测试例;若否,则继续进行层级划分并进行相应的筛选直至形成最小层级单位;
所述最小层级单位为无法进行层级划分的单元。
11.根据权利要求10所述的筛选系统,其中,所述第二处理模块还包括:
第四处理单元,用于提取每个所述问题模块中交叉的节点只进行一次筛选,对其他节点筛选,得到测试例。
CN201910244606.2A 2019-03-28 2019-03-28 一种系统性能测试例筛选方法及系统 Active CN109977017B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910244606.2A CN109977017B (zh) 2019-03-28 2019-03-28 一种系统性能测试例筛选方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910244606.2A CN109977017B (zh) 2019-03-28 2019-03-28 一种系统性能测试例筛选方法及系统

Publications (2)

Publication Number Publication Date
CN109977017A CN109977017A (zh) 2019-07-05
CN109977017B true CN109977017B (zh) 2022-09-02

Family

ID=67081346

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910244606.2A Active CN109977017B (zh) 2019-03-28 2019-03-28 一种系统性能测试例筛选方法及系统

Country Status (1)

Country Link
CN (1) CN109977017B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102928738A (zh) * 2012-10-31 2013-02-13 辽宁省电力有限公司沈阳供电公司 一种智能电网故障的动态层次诊断装置及方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9823999B2 (en) * 2015-08-24 2017-11-21 Bank Of America Corporation Program lifecycle testing
CN105335291A (zh) * 2015-11-12 2016-02-17 浪潮电子信息产业股份有限公司 一种软件安全性测试用例设计方法
CN105930268A (zh) * 2016-04-19 2016-09-07 努比亚技术有限公司 一种基于树型的黑盒测试用例生成方法及其系统
US10331542B2 (en) * 2016-06-23 2019-06-25 International Business Machines Corporation System and method for detecting and alerting unexpected behavior of software applications
US10467128B2 (en) * 2016-09-08 2019-11-05 International Business Machines Corporation Measuring and optimizing test resources and test coverage effectiveness through run time customer profiling and analytics
CN106970880B (zh) * 2017-04-28 2021-01-01 中国科学院软件研究所 一种分布式自动化软件测试方法及系统
CN109308252B (zh) * 2017-07-27 2022-04-01 中国移动通信集团浙江有限公司 一种故障定位处理方法及装置
CN107491395A (zh) * 2017-09-06 2017-12-19 郑州云海信息技术有限公司 一种自定义测试用例框架使用方法
CN107704392B (zh) * 2017-09-30 2021-05-18 华为技术有限公司 一种测试用例的处理方法及服务器

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102928738A (zh) * 2012-10-31 2013-02-13 辽宁省电力有限公司沈阳供电公司 一种智能电网故障的动态层次诊断装置及方法

Also Published As

Publication number Publication date
CN109977017A (zh) 2019-07-05

Similar Documents

Publication Publication Date Title
US20190286510A1 (en) Automatic correlation of dynamic system events within computing devices
CN100531054C (zh) 用于诊断网络性能问题的方法和装置
CN109933984B (zh) 一种最佳聚类结果筛选方法、装置和电子设备
CN108650684A (zh) 一种关联规则确定方法及装置
CN113312371A (zh) 执行计划的处理方法、设备及系统
CN114528175A (zh) 一种微服务应用系统根因定位方法、装置、介质及设备
CN114461534A (zh) 软件性能测试方法、系统、电子设备及可读存储介质
US20070143246A1 (en) Method and apparatus for analyzing the effect of different execution parameters on the performance of a database query
CN112306820B (zh) 一种日志运维根因分析方法、装置、电子设备及存储介质
CN112612587B (zh) 一种针对流量分析的Spark平台动态资源调配方法
US8949669B1 (en) Error detection, correction and triage of a storage array errors
CN109977017B (zh) 一种系统性能测试例筛选方法及系统
CN111913937B (zh) 数据库运维方法和装置
KR20240051094A (ko) 룰셋 기반의 대용량 로그 데이터 분석 장치, 이의 제어 방법 및 프로그램
CN113965497A (zh) 服务器异常识别方法、装置、计算机设备及可读存储介质
CN111222774A (zh) 企业数据分析方法、装置及服务器
CN114896418A (zh) 知识图谱构建方法、装置、电子设备及存储介质
CN113238901B (zh) 多设备的自动化测试方法及装置、存储介质、计算机设备
Shen et al. Detecting last-level cache contention in workload colocation with meta learning
CN113094249A (zh) 一种节点异常检测方法、装置及介质
CN113535038A (zh) 前端菜单树生成方法、装置、计算机设备及存储介质
Breitgand et al. Root-cause analysis of SAN performance problems: an I/O path affine search approach
CN111885159A (zh) 数据采集方法、装置、电子设备及存储介质
CN114584402B (zh) 基于攻击特征识别标签库的威胁过滤研判方法
Yano et al. Moderate detection and removal of omnipresent modules in software clustering

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant