CN115119222B

CN115119222B - 一种性能计数器的测试方法及装置

Info

Publication number: CN115119222B
Application number: CN202110300725.2A
Authority: CN
Inventors: 张勇; 回海波
Original assignee: Datang Mobile Communications Equipment Co Ltd
Current assignee: Datang Mobile Communications Equipment Co Ltd
Priority date: 2021-03-22
Filing date: 2021-03-22
Publication date: 2024-11-15
Anticipated expiration: 2041-03-22
Also published as: CN115119222A

Abstract

本申请公开了一种性能计数器的测试方法及装置，用以在不同场景下测试性能计数器的准确性。方法包括：确定测试场景，测试场景用于指示参与本次测试的活动终端以及待测试的基站；根据测试场景触发参与本次测试的活动终端与待测试基站的进行通信；在本次测试结束时，获取通信日志，以及获取待测试基站的多个性能计数器分别输出的网络性能参数值，通信日志包括终端日志和/或待测试基站的基站日志；根据第一网络性能参数值与第一统计信息的匹配结果获得第一性能计数器的测试结果；其中，第一网络性能参数值为第一性能计数器输出的用于描述第一网络性能的参数值；第一统计信息是根据通信日志确定的，第一统计信息用于描述第一网络性能。

Description

一种性能计数器的测试方法及装置

技术领域

本申请涉及通信技术领域，特别涉及一种性能计数器的测试方法及装置。

背景技术

随着5G技术的发展，及时掌握网络的运行情况，以及如何评价网络质量，已经成为运营商需要面临的主要问题。目前，可以通过无线网络的关键性能指标KPI来知晓当前网络的质量。无线网络的性能指标是由性能计数器统计计算得到的，所以保证性能计数器输出的网络性能参数准确性变得尤为重要。在现有的技术中，采用人工根据基站日志和终端日志中的相关数据确定用于描述网络性能的统计值，并与性能计数器输出的网络性能参数进行对比的方法，来确定性能计数器的准确性。但是5G的数据业务量较大，采用人工判定性能计数器数值准确性的方法效率低且容易出错，并且耗费人力资源。

发明内容

本申请实施例提供了一种性能计数器的测试方法及装置，用以在不同场景下测试性能计数器的准确性。

第一方面，本申请实施例提供了一种性能计数器的测试方法，包括确定测试场景，所述测试场景用于指示参与本次测试的活动终端以及待测试的基站；

根据所述测试场景触发参与本次测试的活动终端与待测试基站的进行通信；

在本次测试结束时，获取通信日志，以及获取所述待测试基站的多个性能计数器分别输出的网络性能参数值，所述通信日志包括参与本次测试的活动终端的终端日志和/或待测试基站的基站日志；

根据第一网络性能参数值与第一统计信息的匹配结果获得第一性能计数器的测试结果；

其中，所述第一网络性能参数值为所述多个性能计数器中所述第一性能计数器输出的用于描述第一网络性能的参数值；所述第一统计信息是根据所述通信日志确定的，所述第一统计信息用于描述第一网络性能。

基于上述方案，在不同的测试场景中，根据性能计数器输出的性能参数值与通信日志中用于描述网络性能的记录值进行匹配，将匹配结果作为性能计数器的测试结果，能够相对准确地判定性能计数器输出的性能参数值的准确性。并且自动化进行性能计数器的准确性的判定，不需要人工干预，可以解决由于人工计算带来的不准确以及效率低下的问题，减少测试资源。

在一种可能的实现方式中，确定测试场景，包括：

获取参与测试的活动终端的数量和/或活动终端的电量值；

根据参与测试的活动终端的数量和/或活动终端的电量值确定所述测试场景。

基于上述方案，本申请实施例提供了根据参与测试的终端中活动终端的数量及活动终端的电量值来确定测试场景，提高了测试场景的全面性，使得测试结果更加准确。

在一种可能的实现方式中，根据参与测试的活动终端的数量和/或活动终端的电量值确定测试场景，包括：

确定参与测试的活动终端的数量占比大于第一活动阈值，并且活动终端中电量值大于第一电量值的活动终端占比大于第一电量阈值，确定测试场景为多小区多用户场景；或者，

确定参与测试的活动终端的数量占比小于第一活动阈值且大于第二活动阈值，并且活动终端中电量值大于第一电量值的活动终端占比小于第一电量阈值且大于第二电量阈值，确定测试场景为单小区多用户场景；或者，

确定参与测试的活动终端的数量占比小于第二活动阈值且大于第三活动阈值，并且活动终端中电量值大于第一电量值的活动终端占比小于第二电量阈值且大于第三电量阈值，确定测试场景为单小区单用户场景；或者，

根据参与测试的活动终端的数量为0，确定测试场景为无用户场景；

其中，第一活动阈值>第二活动阈值>第三活动阈值，第一电量阈值>第二电量阈值>第三电量阈值。

基于上述方案，根据活动终端的数量占比以及活动终端中电量值大于第一电量值的活动终端的占比来将测试场景区分为多小区多用户、单小区多用户、单小区单用户以及无用户场景。采用这种方法区分测试场景比较准确，能够提高测试的成功率。

在一种可能的实现方式中，所述测试场景为多小区多用户场景，所述待测试基站包括多个，还包括：

通过程控衰减器控制多个所述待测试基站的信号强度，以触发所述活动终端在多个所述待测试基站之间的切换；或者，

通过程控衰减器控制多个所述待测试基站包括的小区的信号强度，以触发所述活动终端在多个所述待测试基站包括的小区之间的切换。

基于上述方案，当测试场景为多小区多用户场景，通过程控衰减器控制待测试基站以及待测试基站包括的小区的信号强度，触发活动终端在多个基站或者基站包括的多个小区之间的切换。多用户多小区场景中活动终端的电量比较充足，能够支持在与基站通信过程中进行切换的业务，本申请实施例提出了在不同的场景中进行适应于该场景的不同业务，提高了测试的全面性。

在一种可能的实现方式中，所述测试场景为：多小区多用户场景、单小区多用户场景或者单小区单用户场景，根据第一网络性能参数值与第一统计信息的匹配结果获得第一性能计数器的测试结果，包括：

所述第一统计信息中包括第一统计值，所述第一统计值是根据所述终端日志确定的，将所述第一网络性能参数值与所述第一统计值进行匹配得到第一匹配结果，所述第一匹配结果指示所述第一网络性能参数值与所述第一统计值不相同，将第一匹配结果作为所述测试结果；或者，

所述第一统计信息中包括所述第一统计值和第二统计值，所述第二统计值是根据所述基站日志确定的，确定所述第一网络性能参数值与所述第二统计值相同时，将所述第一网络性能参数值与所述第一统计值进行匹配得到第二匹配结果，将所述第二匹配结果作为测试结果。

基于上述方案，首先将性能计数器输出的网络性能参数与基站日志中的统计值进行匹配，如果不相同，则将该不相同的匹配结果作为测试结果；无需再进一步执行匹配，减少资源浪费。如果相同，则进一步将网络性能参数与终端日志中的统计值进行匹配，并将匹配结果作为测试结果，能够保障测试结果更加准确。

在一种可能的实现方式中，所述测试场景为：无用户场景，根据第一网络性能参数值与所述第一统计信息的匹配结果得到第一性能计数器的测试结果，包括：

对所述第一网络性能参数值与所述第二统计值进行匹配得到第三匹配结果，将所述第三匹配结果作为测试结果。

基于上述方案，在无用户场景中，没有活动终端，也就没有终端日志，则将性能计数器输出的网络性能参数与基站日志中的统计值进行匹配，将匹配结果作为测试结果。能够更加迅速地得出测试结果，提高测试效率。

在一种可能的实现方式中，在根据第一网络性能参数值与所述第一统计信息的匹配结果获得第一性能计数器的测试结果之前，所述方法还包括：

获取关键性能指标KPI，确定所述KPI在预设范围内；

其中，所述KPI是操作维护中心OMC根据所述待测试基站的多个性能计数器中的至少两个性能计数器分别输出的网络性能参数值计算得到的。

基于上述方案，在将性能计数器输出的网络性能参数值与通信日志中用于描述网络性能的统计值进行匹配之前，获取OMC计算得关键性能指标KPI，先判断KPI指标在预设范围内，再将网络性能参数值与统计值进行匹配。采用这种方法，可以节省计算资源，提高测试效率。

第二方面，本申请实施例提供了一种性能计数器的测试装置，包括：

处理单元，用于确定测试场景，所述测试场景用于指示参与本次测试的活动终端以及待测试的基站；

所述处理单元，还用于根据所述测试场景触发参与本次测试的活动终端与待测试基站的进行通信；

获取单元，用于在本次测试结束时，获取通信日志，以及获取所述待测试基站的多个性能计数器分别输出的网络性能参数值，所述通信日志包括参与本次测试的活动终端的终端日志和/或待测试基站的基站日志；

所述处理单元，还用于根据第一网络性能参数值与根据所述通信日志确定的第一统计信息的匹配结果获得第一性能计数器的测试结果；

在一种可能的实现方式中，所述处理单元，在确定测试场景时，具体用于：

指示所述获取单元获取参与测试的活动终端的数量和/或活动终端的电量值；

在一种可能的实现方式中，所述处理单元，在根据参与测试的活动终端的数量和/或活动终端的电量值确定测试场景时，具体用于：

在一种可能的实现方式中，所述测试场景为多小区多用户场景，所述待测试基站包括多个，所述处理单元还用于：

在一种可能的实现方式中，所述测试场景为：多小区多用户场景、单小区多用户场景或者单小区单用户场景，所述处理单元，在根据第一网络性能参数值与根据所述通信日志确定的第一统计信息的匹配结果获得第一性能计数器的测试结果时，具体用于：

在一种可能的实现方式中，所述测试场景为：无用户场景，所述处理单元根据第一网络性能参数值与第一统计信息的匹配结果得到第一性能计数器的测试结果时，具体用于：

在一种可能的实现方式中，所述处理单元在根据第一网络性能参数值与根据所述通信日志确定的所述第一统计信息的匹配结果获得第一性能计数器的测试结果之前，还用于：

指示获取单元获取关键性能指标KPI，确定所述KPI在预设范围内；

第三方面，本申请实施例提供了一种电子设备，所述电子设备包括处理器和存储器。存储器用于存储计算机执行指令，处理器执行存储器中的计算机执行指令以利用控制器中的硬件资源执行第一方面或第一方面任一种可能实现方式中方法的操作步骤。

第四方面，本申请实施例提供一种计算机可读存储介质，计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述各方面的方法。

另外，第二方面至第四方面的有益效果可以参见如第一方面所述的有益效果，此处不再赘述。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例。

图1为本申请实施例提供的一种性能计数器的测试系统架构图；

图2为本申请实施例提供的一种性能计数器的测试方法流程图；

图3为本申请实施例提供的另一种性能计数器的测试方法流程图；

图4为本申请实施例提供的一种性能计数器的测试装置示意图；

图5为本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请技术方案的一部分实施例，而不是全部的实施例。基于本申请文件中记载的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请技术方案保护的范围。

本申请的说明书和权利要求书及上述附图中的术语“第一”和“第二”是用于区别不同对象，而非用于描述特定顺序。此外，术语“包括”以及它们任何变形，意图在于覆盖不排他的保护。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请中的“多个”可以表示至少两个，例如可以是两个、三个或者更多个，本申请实施例不做限制。

另外，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，在不做特别说明的情况下，一般表示前后关联对象是一种“或”的关系。

目前，评估网络质量所用到的关键性能指标(Key Performance Indicators，KPI)是由操作维护中心(Operation and Maintenance Center，OMC)根据部署在基站内部的性能计数器计算得到的，所以性能计数器输出的网络性能参数值的准确性尤为重要。现有的确定性能计数器准确性的方法是人工提取基站和终端的日志，根据终端和基站日志确定的用于描述网络性能的统计值与性能计数器输出的网络性能参数值进行对比，确定网络性能参数值是否准确，进一步确定性能计数器的准确性。但是这种人工判定的方式容易出错，并且目前的第五代移动通信技术(5th generation mobile networks，5G)的数据业务量较大，所以人工判定的方式执行效率低。基于此，本申请实施例提出了一种性能计数器的测试方法，根据参与测试的活动终端的数量及电量值区分不同的测试场景，提高了场景覆盖的完备性，减少人工干预。并且自动进行性能计数器输出的网络性能参数值准确性的判定，解决了人工判定的不准确的问题，提高了测试效率，节省了测试资源和人工资源。

参见图1示出了本申请实施例提供的一种性能计数器的测试系统，包括测试控制平台101、至少一个待测试基站102、参与测试的至少一个终端103，以及用于控制至少一个待测试基站102输出信号强弱的程控衰减器104。为了便于描述，在本申请实施例中，将待测试基站的数量设为N，参与测试的终端的数量设为M。

本申请实施例提出的测试控制平台101通过传输网络与N个待测试基站、M个终端以及程控衰减器进行连接，通过程控衰减器对N个待测试基站输出信号的强弱进行控制。并可以获取N个基站的日志和M个终端的日志。所述M个终端上还可以安装有路测软件，路测软件用于记录终端的日志。作为一种举例，测试控制平台可以部署路测软件对应的服务器，测试控制平台的服务器可以通过路测软件获取M个终端的终端日志。

本申请实施例涉及的基站可以称为接入网设备，可以是指接入网中在空口通过一个或多个小区与终端通信的设备或者例如，可以是一种车到一切(vehicle-to-everything，V2X)技术中的网络设备为路侧单元(road side unit，RSU)。例如，网络设备可以包括长期演进(long term evolution，LTE)系统或高级长期演进(long termevolution-advanced，LTE-A)中的演进型基站(e-NodeB，evolved Node B)、NR系统中的下一代节点B(next generation node B，gNB)，也可以是组成基站的网络节点，如基带单元(BBU)、集中式单元(central unit,CU)、分布式单元(distributed unit，DU)等，本申请实施例并不限定。本申请中用于实现网络设备的功能的装置可以是网络设备，也可以是能够支持网络设备实现该功能的装置，例如芯片系统，该装置可以被安装在网络设备中。本申请中的待测试基站还可以是移动基站、电信基站或者联通基站，可以包括5G基站、4G基站、3G基站或者2G基站。本申请实施例提供的基站中部署有多个性能计数器，用于记录与基站相关的网络性能参数值，并上报到操作维护中心(Operation and Maintenance Center，OMC)。需要知道的是，根据基站日志确定的用于描述网络性能的统计值包含该基站性能计数器输出的网络性能参数值。

本申请涉及的终端可以是手机(Mobile Phone)、平板电脑、笔记本电脑、掌上电脑、移动互联网设备(Mobile Internet Device，MID)、可穿戴设备等等。可穿戴式设备例如可以包括智能手表或智能眼镜，智能手环等。也可以是其他用于实现终端功能的装置，也可以是能够支持终端实现该功能的装置，例如芯片系统，该装置可以被安装在终端中。

本申请实施例涉及的程控衰减器可以通过控制基站与至少一个终端中的活动终端之间通信链路的路损，从而改变活动终端接收的信号的强度。用以触发活动终端在基站或者基站包含的多个小区之间的切换，或者切换到不同的测试场景。程控衰减器还可以用于将网络设备发出的信号进行整合重分，分为下行k个信号流，例如K＝4，当然还可以根据需求部署其它数量的信号流。本申请实施例提供的性能计数器的测试系统还可以包括有n个屏蔽箱，用于放置M个终端，其中，M>n。程控衰减器还可以将下行k个信号流分别引入n个屏蔽箱中，避免信号流之间产生干扰。

参见图2，为本申请实施例提供的一种性能计数器的测试方法流程图。测试控制平台可以针对同一测试场景测试一个周期或者多个周期。或者不同的测试周期测试不同的测试场景，循环多次测试，以实现针对同一测试场景测试多次。以下以一个测试周期为例。

201，测试控制平台确定测试场景。

其中，测试场景用于指示参与本次测试的活动终端以及待测试的基站。

202，测试控制平台根据所述测试场景触发参与本次测试的活动终端与待测试基站进行通信。

203，本次测试结束时，测试控制平台获取通信日志，以及获取待测试基站的多个性能计数器分别输出的网络性能参数值。

其中，通信日志包括参与本次测试的活动终端的终端日志以及待测试基站的基站日志。

204，测试控制平台根据第一网络性能参数值与第一统计信息的匹配结果获得第一性能计数器的测试结果。

其中，第一网络性能参数值为待测试基站包括的多个性能计数器中第一性能计数器输出的用于描述第一网络性能的参数值；所述第一统计信息是根据所述通信日志确定的，所述第一统计信息用于描述第一网络性能。示例性地，根据通信日志确定的第一统计信息包括根据终端日志确定的第一统计值以及根据基站日志确定的第二统计值。

并且，第一统计信息包括性能计数器输出的网络性能参数值。

下面，结合具体的实施例对图2示出的性能技术器的测试方法进行详细说明。

在一些实施例中，测试控制平台可以获取参与测试的活动终端的数量以及活动终端的电量值，并根据参与测试的活动终端的数量以及活动终端的电量值确定不同的测试场景。可选地，可以是确定参与测试的活动终端的数量占比大于第一活动阈值，并且活动终端中电量值大于第一电量值的活动终端占比大于第一电量阈值，确定测试场景为多小区多用户场景；或者，确定参与测试的活动终端的数量占比小于第一活动阈值且大于第二活动阈值，并且活动终端中电量值大于第一电量值的活动终端占比小于第一电量阈值且大于第二电量阈值，确定测试场景为单小区多用户场景；或者，确定参与测试的活动终端的数量占比小于第二活动阈值且大于第三活动阈值，并且活动终端中电量值大于第一电量值的活动终端占比小于第二电量阈值且大于第三电量阈值，确定测试场景为单小区单用户场景；或者，根据参与测试的活动终端的数量为0，确定测试场景为无用户场景。需要说明的是，在本实施例中，第一活动阈值>第二活动阈值>第三活动阈值，第一电量阈值>第二电量阈值>第三电量阈值。

下面结合上述四种场景分别进行详细的说明。

(1)多小区多用户场景。

应理解的是，多小区可以属于多个基站，也可以属于一个基站，一个基站可以包括一个小区或者多个小区。本申请实施例对此不作具体限定。

首先，测试控制平台确定测试环境是否正常。例如，M个终端是否放置在n个屏蔽箱中、M个终端中的活动终端是否可以正常接入测试控制平台、下行k个信号流是否正常接入n个屏蔽箱中、下行k个信号流分别对应的待测试基站的k个小区是否正常、活动终端在待测试基站(可以是一个基站或者多个基站)所包括的小区之间的切换是否正常以及待测试基站和活动终端的日志是否可以正常提取等等。进一步地，确定环境无问题后，测试控制平台可以通过程控衰减器控制待测试基站包括的k个小区发射的下行k个信号流的强度，也就是控制活动终端接收到的信号流的强度，从而控制活动终端在不同小区或者不同基站之间的切换。例如，程控衰减器可以控制M个终端中的某一个活动终端连接的小区P的相邻小区Q的信号强度增强，进而控制该活动终端由小区P切换到小区Q，完成小区之间的切换。最后，测试控制平台运行多小区多用户的业务脚本，例如，由于此时活动终端的电量比较充足，可以支持运行在多个小区之间进行文件传输协议(File Transfer Protocol，FTP)上传下载的切换测试脚本，因为运行这种脚本比较耗电。

(2)单小区多用户场景

首先，与场景(1)相同，测试控制平台需要确定测试环境正常。不同的是，由于本场景中仅有一个小区，所以不需要确定待测试基站的下行k个信号流是否正常接入等涉及多个小区或者多个信号流的问题。进一步地，确定测试环境正常后，测试控制平台运行单小区多用户的业务脚本，例如，由于此时活动终端的电量较场景(1)稍低，处于该场景中的活动终端的电量无法支持活动终端在不同小区或者基站之间进行切换，但是可以进行FTP的上传或者下载业务。

(3)单小区单用户场景

测试控制平台确定测试环境正常，由于本场景只涉及到一个待测试基站的一个小区以及一个参与测试的活动终端，所以仅需要确定本场景中的待测试基站的一个下行信号流是否正常接入活动终端，以及活动终端和待测试基站的日志是否可以正常提取等问题。在测试控制平台确定测试环境无问题后，运行单小区单用户场景的业务脚本，例如进行用户数据报协议(User Datagram Protocol，UPD)灌包的上下行传输。

(4)无用户场景

本场景下没有活动终端，测试控制平台仅需要确定基站日志时候否可以正常提取。

在一种可能的方式中，测试控制平台运行上述四个场景中的任一场景一个测试周期后，测试完成。例如，可以在不同的测试周期切换不同的测试场景。又例如，可以连续多个测试周期针对同一测试场景进行测试。测试控制平台可以根据需求切换不同的测试场景，本申请对此不作具体限定。待测试基站中包含的多个计数器将记录的网络性能参数值输出到操作维护中心OMC。OMC接收到网络性能参数后进行计算得到关键性能指标KPI。其中，关键性能指标KPI包括但不限于：无线资源控制(Radio Resource Control，RRC)连接建立成功率、RRC连接恢复(Resume)成功率、协议数据单元(Protocol Data Unit，PDU)会话(Session)恢复(Resume)建立成功率、无线接通率、无线掉话率、流(Flow)掉线率、RRC连接重建比、NG接口(网络设备与核心网之间的接口)切换成功率、Xn口(网络设备与网络设备之间的接口)切换成功率、站内切换成功率、站间切换成功率、上行物理资源块(PhysicalResource Block，PRB)利用率、下行PRB利用率、控制信道元(Control Channel Element，CCE)利用率、分组数据汇聚协议(Packet Data Convergence Protocol，PDCP)上行吞吐量、PDCP下行吞吐量、无线链路层控制协议(Radio Link Control，RLC)上行吞吐量、RLC下行吞吐量、局域网地址(Media Access Control，MAC)上行吞吐量、MAC下行吞吐量、小区RLC层下行丢包率、MAC层上行误块率、MAC层下行误块率、上行混合自动(Hybrid Automatic RepeatreQuest，HARQ)重传比率、下行HARQ重传比率、下行双流占比、下行三流占比、下行四流占比、上下行PDCP包数、上行每PRB平均吞吐量、下行每PRB平均吞吐量、用户RLC层上行平均速率、用户RLC层下行平均速率、平均信道质量指示(Channel Quality Indication，CQI)统计、分调制与编码策略(Modulation and Coding Scheme，MCS)等级调度次数、RRC连接态平均用户数、Inactive(非活动)态平均用户数、平均PDU Session数、平均DRB数。

上述关键性能指标KPI可以是基于性能计数器输出的网络性能参数计算得到的。如下示例性地描述KPI的确定方式。

(1)RRC连接建立成功率根据RRC连接建立成功次数和RRC连接建立请求次数计算得出。比如：RRC连接建立成功率＝RRC连接建立成功次数/RRC连接建立请求次数*100％。

(2)RRC连接Resume成功率根据Resume成功次数、Resume回落RRC建立成功次数和Resume请求次数计算得出。比如：RRC连接Resume成功率＝(Resume成功次数+Resume回落RRC建立成功次数)/Resume请求次数*100％。

(3)PDU Session Resource建立成功率根据PDU Session Resource建立成功次数、流程冲突导致PDU Session建立中断次数和PDU Session Resource建立请求次数计算得出。比如：PDU Session Resource建立成功率＝(PDU Session Resource建立成功次数+流程冲突导致PDU Session建立中断次数)/PDU Session Resource建立请求次数*100％。

(4)无线接通率根据RRC连接建立成功次数、RRC连接建立请求次数、FLOW建立成功次数、FLOW建立请求次数、NG接口终端UE相关逻辑信令连接建立成功次数和NG接口UE相关逻辑信令连接建立请求次数计算得出。比如：无线接通率＝(RRC连接建立成功次数/RRC连接建立请求次数)*(FLOW建立成功次数/FLOW建立请求次数)*(NG接口UE相关逻辑信令连接建立成功次数/NG接口UE相关逻辑信令连接建立请求次数)*100％；

(5)无线掉话率根据基站请求释放上下文数、正常的基站请求释放上下文数、初始上下文建立成功次数和遗留上下文个数计算得出。比如：无线掉话率＝(基站请求释放上下文数-正常的基站请求释放上下文数)/(初始上下文建立成功次数+遗留上下文个数)*100％。

(6)Flow掉线率根据切出接纳失败的FLOW数、基站(比如gNB)请求释放的FLOW个数、正常的gNB请求释放的Flow个数、遗留FLOW个数、Flow建立成功个数、切换入FLOW数和Resume入FLOW数计算得出。比如：Flow掉线率＝(切出接纳失败的FLOW数+gNB请求释放的FLOW个数-正常的gNB请求释放的Flow个数)/(遗留FLOW个数+Flow建立成功个数+切换入FLOW数+Resume入FLOW数)*100％。

(7)RRC连接重建比根据RRC连接重建请求次数、RRC连接建立请求次数、RRC连接重建请求次数计算得出。比如：RRC连接重建比＝RRC连接重建请求次数/(RRC连接建立请求次数+RRC连接重建请求次数)*100％。

(8)NG接口切换成功率根据NG接口切换执行成功次数和NG接口切换准备请求次数计算得出。比如：NG接口切换成功率＝NG接口切换执行成功次数/NG接口切换准备请求次数*100％。

(9)Xn口切换成功率根据Xn接口切换执行成功次数和Xn接口切换准备请求次数计算得出。比如：Xn口切换成功率＝Xn接口切换执行成功次数/Xn接口切换准备请求次数*100％。

(10)站内切换成功率根据基站内切换执行成功次数和基站内切换请求次数计算得出。比如：站内切换成功率＝基站内切换执行成功次数/基站内切换请求次数*100％。

(11)站间切换成功率根据基站间切换执行成功次数和基站间切换请求次数计算得出。比如：站间切换成功率＝基站间切换执行成功次数/基站间切换请求次数*100％。

(12)上行PRB利用率根据上行PUSCH PRB占用数和上行PUSCH PRB可用数计算得出。比如：上行PRB利用率＝上行PUSCH PRB占用数/上行PUSCH PRB可用数*100％。

(13)下行PRB利用率根据下行PDSCH PRB占用数和上行PDSCH PRB可用数计算得出。比如：下行PRB利用率＝下行PDSCH PRB占用数/上行PDSCH PRB可用数*100％。

(14)CCE利用率根据物理下行控制信道(Physical Downlink Control Channel，PDCCH)信道CCE占用个数和PDCCH信道CCE可用个数计算得出。比如：CCE利用率＝PDCCH信道CCE占用个数/PDCCH信道CCE可用个数*100％。

(15)PDCP上行吞吐量根据小区用户面上行分组数据汇聚协议(Packet DataConvergence Protocol，PDCP)PDU字节数计算得出。比如：PDCP上行吞吐量＝小区用户面上行PDCP PDU字节数/1000(MByte)。

(16)PDCP下行吞吐量根据小区用户面下行PDCP PDU字节数计算得出。比如：Pdcp下行吞吐量＝小区用户面下行PDCP PDU字节数/1000(MByte)。

(17)RLC上行吞吐量根据小区上行RLC SDU接收字节数计算得出。比如：RLC上行吞吐量＝小区上行RLC SDU接收字节数/1000(MByte)。

(18)RLC下行吞吐量根据小区下行RLC SDU接收字节数计算得出。比如：RLC下行吞吐量＝小区下行RLC SDU接收字节数/1000(MByte)。

(19)MAC上行吞吐量根据小区MAC层传输成功的上行流量计算出。比如：MAC上行吞吐量＝小区MAC层传输成功的上行流量/1000(MByte)。

(20)MAC下行吞吐量根据小区MAC层传输成功的下行流量计算出。比如：MAC下行吞吐量＝小区MAC层传输成功的下行流量/1000(MByte)。

(21)小区RLC层下行丢包率根据小区下行RLC SDU丢包数、小区下行RLC SDU发送包数计算出。比如：小区RLC层下行丢包率＝小区下行RLC SDU丢包数/小区下行RLC SDU发送包数*100％。

(22)MAC层上行误块率根据上行残留TB数、上形传输初始TB数计算得出。比如：MAC层上行误块率＝上行残留TB数/上形传输初始TB数*100％。

(23)MAC层下行误块率根据下行残留TB数和下形传输初始TB数计算出。比如：MAC层下行误块率＝下行残留TB数/下形传输初始TB数*100％。

(24)上行harq重传比率根据上行传输TB数、上行传输初始TB数和上行传输TB数计算出。比如：上行harq重传比率＝(上行传输TB数-上行传输初始TB数)/上行传输TB数*100％。

(25)下行harq重传比率根据下行传输TB数、下行传输初始TB数和下行传输TB数计算出。比如：下行harq重传比率＝(下行传输TB数-下行传输初始TB数)/下行传输TB数*100％。

(26)下行双流占比根据双流下行传输TB数和下行传输TB数计算出。比如：下行双流占比＝双流下行传输TB数/下行传输TB数*100％。

(27)下行三流占比根据3流下行传输TB数和下行传输TB数计算出。比如：下行三流占比＝3流下行传输TB数/下行传输TB数*100％。

(28)下行四流占比根据4流下行传输TB数和下行传输TB数计算出。比如：下行四流占比＝4流下行传输TB数/下行传输TB数*100％。

(29)上行每PRB平均吞吐量根据小区MAC层传输成功的上行流量和上行PUSCH PRB占用数计算出。比如：上行每PRB平均吞吐量＝小区MAC层传输成功的上行流量*8/上行PUSCH PRB占用数(Kb/PRB)。

(30)下行每PRB平均吞吐量根据小区MAC层传输成功的下行流量和下行PUSCH PRB占用数计算出。比如：下行每PRB平均吞吐量＝小区MAC层传输成功的下行流量*8/下行PUSCH PRB占用数(Kb/PRB)。

(31)用户RLC层上行平均速率根据上行RLC SDU接收字节数、RLC上行尾包数和小区RLC层上行数据的业务总时长计算出。比如：用户RLC层上行平均速率＝(上行RLC SDU接收字节数-RLC上行尾包数/1000)*8/小区RLC层上行数据的业务总时长(Mbps)。

(32)用户RLC层下行平均速率根据下行RLC SDU接收字节数、RLC下行尾包数和小区RLC层下行数据的业务总时长计算出。比如：用户RLC层下行平均速率＝(下行RLC SDU接收字节数-RLC下行尾包数/1000)*8/小区RLC层下行数据的业务总时长(Mbps)。

(33)平均CQI统计根据终端上报CQI计算出：平均CQI统计＝根据终端上报CQI进行累加求平均。

(34)可以对同MCS等级的调度次数进行统计得到分MCS等级调度次数。

(35)可以以1s间隔对连接态用户数进行累加，将一个测试周期内累加的结果取平均值得到RRC连接态平均用户数。

(36)可以以1s间隔对inactive态用户数进行累加，将一个测试周期内累加的结果取平均值得到Inactive平均态用户数。

(37)可以以1s间隔统计PDU session数，将一个周期内取得的所有PDU session取平均值得到平均pdu session数。

(38)可以以1s间隔对统计存在的DRB数，将一个周期内取得的所有DRB数取平均值得到平均DRB数。

进一步地，测试控制平台确定关键性能指标是否在正常范围内，例如如果关键性能指标KPI为一个百分比的话，那么该项指标的正常范围为0-1；如果关键性能指标KPI为一个统计的数据的话，那么该数据最小可以为0，最大可以是待测试基站能够取得的最大值，例如，平均DRB数的范围是0-1000。

在一种可能的方式中，测试控制平台如果判定OMC计算得到的关键性能指标KPI准确的情况下，还可以进一步针对上述四种场景进行进一步判定性能计数器是否正常。测试控制平台进一步提取待测试基站的多个性能计数器中的第一性能计数器输出第一网络性能参数值。测试控制平台还可以提取待测试基站的基站日志和活动终端的终端日志，根据终端日志确定用于描述第一网络性能的第一统计值，并根据基站日志确定用于描述第一网络性能的第二统计值。

当测试场景为多小区多用户场景、单小区多用户场景或者单小区单用户场景时，可以通过如下方式确定性能计数器是否异常：

比如，将所述第一网络性能参数值与所述第一统计值进行匹配得到第一匹配结果，所述第一匹配结果指示所述第一网络性能参数值与所述第一统计值不相同，将第一匹配结果作为所述测试结果。比如第一匹配结果指示不同，则第一网络性能计数器异常。

再比如，确定所述第一网络性能参数值与所述第一统计值相同时，将所述第一网络性能参数值与所述第二统计值进行匹配得到第二匹配结果，将所述第二匹配结果作为测试结果。例如，第二匹配结果指示不同，则第一网络性能计数器异常。第二匹配结果指示相同，则第一网络性能计数器正常。

在一些实施例中，还可以根据以下四种情况逻辑进行判断性能计数器是否异常：

(一)测试控制平台分别判断第一统计值、第二统计值与第一网络性能参数值是否相同。若相同，则判定第一性能计数器正常。

(二)测试控制平台确定第一统计值与第二统计值不相同，并且第一统计值与第一网络性能参数值相同，则第一性能计数器正常。

(三)测试控制平台确定第一统计值与第二统计值不相同，并且第二统计值与第一网络性能参数值相同，则第一性能计数器异常。

(四)测试控制平台确定第一统计值、第二统计值均与第一网络性能参数值不相同，则可以直接判定第一性能计数器异常。

可选地，测试控制平台在判定性能计数器是否正常后，可以根据判定结果生成性能测试报告，包括异常的性能计数器以及对应的待测试基站的基站日志，并可以通过邮件或者短信等方式发送给测试人员。

下面，以一个具体地实施例对本申请提出的性能计数器的测试方法进行详细说明，具体参见图3示出的流程图。

301，测试控制平台根据参与本次测试的活动终端以及活动终端的电量确定测试场景。具体可以参见前面针对场景的确定说明，此处不再赘述。

作为一种举例，测试控制平台获取活动终端数量，统计活动终端占所有终端的比率，为方便描述，在本实施例中将该比率设为A。测试控制平台进一步获取所有的活动终端的剩余电量，统计出高电量的活动终端占比，设该比率为B。其中，高电量可以是电量值大于第一电量值。比如第一电量值为50％或者大于80％等，本申请在此不做限定。进一步地，测试控制平台可以根据比率A和比率B的取值区分不同的测试场景。比如，以第一活动阈值为75％，第一电量阈值为50％为例。例如，A>75％且B>50％的时候，可以确定测试场景为多小区多用户场景，此场景中活动终端的电量较充足，可以用于多个用户在多个小区之间的切换测试。再比如，以第二活动阈值为50％，第二电量阈值为35％为例，当A>50％且B>35％的时候，可以确定测试场景为单小区多用户场景，此场景中的活动终端电量稍低，则可以不用于切换小区，可以主要用于测试文件传输协议(File Transfer Protocol，FTP)上传或者下载的场景。再比如，以第三活动阈值为25％，第三电量阈值为15％为例，当A>25％且B>15％的时候，可以确定测试场景为单小区单用户场景，此场景中的活动终端电量更低，可以看作是一个活动终端接入一个小区。当A＝0时，可以确定测试场景为无用户场景，此场景中没有活动终端接入。当然，上述区分场景的方法仅作为一种示例，还可以根据其他的A和B的取值确定场景，在此不做限定。

为了便于描述，在本实施例中，确定测试场景为多小区多用户场景，后续的测试过程均在多小区多用户场景下进行。

302，测试控制平台判定测试环境是否正常。

测试控制平台在确定测试场景之后，可以进一步确定测试环境是否正常。如果测试环境有问题，测试控制平台会给出告警信息，提示测试环境存在的问题，需要重新整理环境。例如，测试环境中的活动终端接入不正常，则可以更换活动终端。

303，启动测试。

测试控制平台在确定测试环境无问题后，启动测试。同时，基站内部的性能计数器会同步记录网络性能参数值。这里需要说明的是，在本实施例中，测试过程中可以运行多小区多用户的业务脚本。

可选地，测试控制平台还可以进行真实加扰或者模拟加扰。其中，真实加扰指的是测试控制平台通过程控衰减器，控制活动终端原接入小区的相邻小区的信号增强或者接入小区的信号减弱，使得活动终端接入相邻小区，从而产生相邻小区对原接入小区的干扰，实现活动终端在小区之间的切换。模拟加扰是指测试控制平台控制基站产生下行信号，产生对活动终端原接入小区的干扰。作为一种举例，测试控制平台可以每间隔设定时长(比如1秒钟、X秒钟，1分钟等)都通过程控衰减器对小区的信号强度进行调整，使得活动终端能够切换不同小区。

304，测试结束，测试控制平台提取待测试基站的基站日志和活动终端的终端日志。

305，测试控制平台确定基站日志和终端日志是否可以正常解析。

若可以，则进行步骤306；

若不可以，则重复进行步骤303。

306，测试控制平台获取OMC计算得到的关键性能指标KPI。

其中，OMC根据待测试基站的多个性能计数器分别输出的网络性能参数值计算得到关键性能指标KPI。

307，测试控制平台判断关键性能指标KPI是否正常。

若正常，则进行步骤308；

若不正常，则记录异常的关键性能指标KPI对应的性能计数器，并提取对应的待测试基站的基站日志，生成性能测试报告。

308，获取异常的关键性能指标KPI对应的性能计数器。

309，测试控制平台对第二统计值与性能计数器输出的网络性能参数值进行匹配。

其中，第二统计值是根据基站日志确定的。

若相同，则进行步骤310；

若不相同，则判定不同的网络性能参数值不准确，进而判定对应的性能计数器异常，生成性能测试报告。

310，测试控制平台对第一统计值与性能计数器输出的网络性能参数进行匹配。

其中，第一统计值是根据终端日志确定的。

若相同，则判定性能计数器正常，进行步骤311；

若不相同，则判定性能计数器异常，生成性能测试报告。

311，确定是否所有的性能计数器全部匹配完成。

若全部匹配完成，进行步骤312；

若未全部匹配完成，则进行步骤308。

312，生成多小区多用户场景下的性能测试报告。

需要说明的是，图3示出的测试方法流程为多小区多用户场景下的测试方法流程，还可以对本申请实施例中的四种测试场景全部进行图3示出的测试方法流程，具体可以通过程控衰减器改变测试场景，在改变测试环境的同时也需要重新确定活动终端的数量以及活动终端的电量值。

基于与上述性能计数器的测试方法的同一构思，如图4所示，提供了一种性能计数器的测试装置400。装置400能够执行上述方法中测试控制平台执行的各个步骤，为了避免重复，此处不再详述。装置400包括：处理单元401、获取单元402。

处理单元401，用于确定测试场景，所述测试场景用于指示参与本次测试的活动终端以及待测试的基站；

所述处理单元401，还用于根据所述测试场景触发参与本次测试的活动终端与待测试基站的进行通信；

获取单元402，用于在本次测试结束时，获取通信日志，以及获取所述待测试基站的多个性能计数器分别输出的网络性能参数值，所述通信日志包括参与本次测试的活动终端的终端日志和/或待测试基站的基站日志；

所述处理单元401，还用于根据第一网络性能参数值与第一统计信息的匹配结果获得第一性能计数器的测试结果；

在一种可能的实现方式中，所述处理单元401，在确定测试场景时，具体用于：

指示所述获取单元402获取参与测试的活动终端的数量和/或活动终端的电量值；

在一种可能的实现方式中，所述处理单元401，在根据参与测试的活动终端的数量和/或活动终端的电量值确定测试场景时，具体用于：

在一种可能的实现方式中，所述测试场景为多小区多用户场景，所述待测试基站包括多个，所述处理单元401还用于：

在一种可能的实现方式中，所述测试场景为：多小区多用户场景、单小区多用户场景或者单小区单用户场景，所述处理单元401，在根据第一网络性能参数值与根据所述通信日志确定的第一统计信息的匹配结果获得第一性能计数器的测试结果时，具体用于：

所述第一统计信息中包括第一统计值，所述第一统计值是根据所述终端日志确定的，对所述第一网络性能参数值与第一统计值进行匹配得到第一匹配结果，所述第一匹配结果指示所述第一网络性能参数值与第一统计值不相同，将第一匹配结果作为所述测试结果；或者，

所述第一统计信息中包括所述第一统计值和第二统计值，所述第二统计值是根据所述基站日志确定的，确定所述第一网络性能参数值与第一统计值相同，对所述第一网络性能参数值与第二统计值进行匹配得到第二匹配结果，将所述第二匹配结果作为测试结果。

在一种可能的实现方式中，所述测试场景为：无用户场景，所述处理单元401根据第一网络性能参数值与根据所述通信日志确定的第一统计信息的匹配结果得到第一性能计数器的测试结果时，具体用于：

对所述第一网络性能参数值与所述第一统计值进行匹配得到第三匹配结果，将所述第三匹配结果作为测试结果。

在一种可能的实现方式中，所述处理单元401在根据第一网络性能参数值与根据所述通信日志确定的第一统计信息的匹配结果获得第一性能计数器的测试结果之前，还用于：

指示获取单元402获取关键性能指标KPI，确定所述KPI在预设范围内；

图5示出了本申请实施例提供的一种用以实现性能计数器测试的电子设备结构示意图。本申请实施例中的电子设备还可以包括通信接口503，该通信接口503例如是网口，电子设备可以通过该通信接口503传输数据，例如获取基站及终端的日志。

在本申请实施例中，存储器502存储有可被至少一个处理器501执行的指令，至少一个处理器501通过执行存储器502存储的指令，可以用于执行前述测试控制平台所执行的步骤。

其中，处理器501是电子设备的控制中心，可以利用各种接口和线路连接整个电子设备的各个部分，通过运行或执行存储在存储器502内的指令以及调用存储在存储器502内的数据。可选的，处理器501可包括一个或多个处理单元，处理器501可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器501中。在一些实施例中，处理器501和存储器502可以在同一芯片上实现，在一些实施例中，它们也可以在独立的芯片上分别实现。

处理器501可以是通用处理器，例如中央处理器(CPU)、数字信号处理器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，可以实现或者执行本申请实施例中公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本申请实施例所公开的测试控制平台所执行的步骤可以直接由硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。

存储器502作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块。存储器502可以包括至少一种类型的存储介质，例如可以包括闪存、硬盘、多媒体卡、卡型存储器、随机访问存储器(Random AccessMemory，RAM)、静态随机访问存储器(Static Random Access Memory，SRAM)、可编程只读存储器(Programmable Read Only Memory，PROM)、只读存储器(Read Only Memory，ROM)、带电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，EEPROM)、磁性存储器、磁盘、光盘等等。存储器502是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。本申请实施例中的存储器502还可以是电路或者其它任意能够实现存储功能的装置，用于存储程序指令和/或数据。

通过对处理器501进行设计编程，例如，可以将前述实施例中介绍的测试方法所对应的代码固化到芯片内，从而使芯片在运行时能够执行前述的神经网络模型训练方法的步骤，如何对处理器501进行设计编程为本领域技术人员所公知的技术，这里不再赘述。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims

1.一种性能计数器的测试方法，其特征在于，所述方法包括：

确定测试场景，所述测试场景用于指示参与本次测试的活动终端以及待测试的基站；

2.如权利要求1所述的方法，其特征在于，确定测试场景，包括：

获取参与测试的活动终端的数量和/或活动终端的电量值；

3.如权利要求2所述的方法，其特征在于，根据参与测试的活动终端的数量和/或活动终端的电量值确定测试场景，包括：

4.如权利要求3所述的方法，其特征在于，所述测试场景为多小区多用户场景，所述待测试基站包括多个，还包括：

5.如权利要求1所述的方法，其特征在于，所述测试场景为：多小区多用户场景、单小区多用户场景或者单小区单用户场景，根据第一网络性能参数值与第一统计信息的匹配结果获得第一性能计数器的测试结果，包括：

6.如权利要求1所述的方法，其特征在于，所述测试场景为：无用户场景，根据第一网络性能参数值与第一统计信息的匹配结果获得第一性能计数器的测试结果，包括：

对所述第一网络性能参数值与所述第一统计信息中的第二统计值进行匹配得到第三匹配结果，将所述第三匹配结果作为测试结果；其中，所述第二统计值是根据所述基站日志确定的。

7.如权利要求1-6任一项所述的方法，其特征在于，在根据第一网络性能参数值与所述第一统计信息的匹配结果获得第一性能计数器的测试结果之前，所述方法还包括：

获取关键性能指标KPI，确定所述KPI在预设范围内；

8.一种性能计数器的测试装置，其特征在于，包括：

所述处理单元，还用于根据第一网络性能参数值与第一统计信息的匹配结果获得第一性能计数器的测试结果；

9.如权利要求8所述的装置，其特征在于，所述处理单元，在确定测试场景时，具体用于：

10.如权利要求9所述的装置，其特征在于，所述处理单元，在根据参与测试的活动终端的数量和/或活动终端的电量值确定测试场景时，具体用于：

11.如权利要求10所述的装置，其特征在于，所述测试场景为多小区多用户场景，所述待测试基站包括多个，所述处理单元还用于：

12.如权利要求8所述的装置，其特征在于，所述测试场景为：多小区多用户场景、单小区多用户场景或者单小区单用户场景，所述处理单元，在根据第一网络性能参数值与第一统计信息的匹配结果获得第一性能计数器的测试结果时，具体用于：

13.如权利要求8所述的装置，其特征在于，所述测试场景为：无用户场景，所述处理单元根据第一网络性能参数值与第一统计信息的匹配结果获得第一性能计数器的测试结果时，具体用于：

14.如权利要求8-13任一项所述的装置，其特征在于，所述处理单元在根据第一网络性能参数值与所述第一统计信息的匹配结果获得第一性能计数器的测试结果之前，还用于：

15.一种电子设备，其特征在于，所述电子设备包括处理器和存储器，

所述存储器，用于存储计算机程序或指令；

所述处理器，用于执行存储器中的计算机程序或指令，使得权利要求1-7中任一项所述的方法被执行。

16.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令在被计算机调用时，使所述计算机执行如权利要求1-7任一项所述的方法。