CN111311336A - 一种策略执行的测试跟踪方法和系统 - Google Patents

Abstract

本申请公开了一种策略执行的测试跟踪的方法和系统，对改动策略进行测试，以降低该测试可能带来的任何影响。策略执行的测试跟踪系统可以是一个线上实验平台，该系统中的每一个测试策略均可以对应于实验平台中的一个实验，实验平台可以同时进行多个实验。例如，每次产品改动都在实验平台中圈定少量用户进行实验，当实验结果表明本次改动能够达到预期效果或满足相应的评估标准时，才逐步增加采用该策略的用户数。

Description

一种策略执行的测试跟踪方法和系统

技术领域

本申请涉及策略测试领域，特别涉及一种策略执行的测试跟踪方法和系统。

背景技术

目前在互联网等行业的产品基本都拥有大量用户群体，轻微的产品设计策略的改动，例如产品外观的调整，都有可能造成大量用户流失，从而导致竞争力下降。因此任何产品设计策略的改动，都需要有效地评估本次设计策略改动的优劣，例如，需要评估本次策略改动在用户群体中的反应，是否能够满足一定比例的用户群体的需求。在目前情形中，有些策略测试方法得到的策略测试结果不够准确。另外，当需要同时对多个策略进行测试时，有些策略测试系统还存在测试效率低的问题。因此，有必要需要提出一种策略有效性的测试评估方法和系统，对一种或多种策略的改动进行有效性评估，提高策略测试的准确度，以及整个测试系统的测试效率。

发明内容

本说明书实施例之一提供一种策略执行的测试跟踪方法，所述方法包括：通过网络获取第一用户群体的相关信息，并根据第三预设条件对所述第一用户群体进行筛选，确定第二用户群体；根据第一预设条件和第一分配算法对所述第二用户群体进行分组，对应的第一分组类别至少包括第一实验组和第一对照组；通过网络控制所述第一实验组和所述第一对照组中用户群体的用户终端分别执行第一策略和第一对照策略；通过网络监测所述第一策略和所述第一对照策略执行后对应的第一策略结果参数和第一对照策略结果参数；根据第二预设条件和第二分配算法对所述第二用户群体的至少部分进行分组，对应的第二分组类别至少包括第二实验组和第二对照组；通过网络控制所述第二实验组和所述第二对照组中用户群体的用户终端分别执行第二策略和第二对照策略；通过网络监测所述第二策略和所述第二对照策略执行后对应的第二策略结果参数和第二对照策略结果参数；比较所述第一策略结果参数和所述第一对照策略结果参数得到第一比较结果，基于所述第一比较结果判断所述第一策略的有效性；比较所述第二策略结果参数和所述第二对照策略结果参数得到第二比较结果，基于所述第二比较结果判断第二策略的有效性。

本说明书实施例之一提供一种策略执行的测试跟踪系统，所述系统包括：用户信息获取模块，用于通过网络获取第一用户群体的相关信息；用户群体筛选模块，用于根据第三预设条件对所述第一用户群体进行筛选，确定第二用户群体；第一分组模块，用于根据第一预设条件和第一分配算法对所述第二用户群体进行分组，对应的第一分组类别至少包括第一实验组和第一对照组；第一策略执行模块，用于通过网络控制所述第一实验组和所述第一对照组中用户群体的用户终端分别执行第一策略和第一对照策略；第一监测模块，用于通过网络监测所述第一策略和所述第一对照策略执行后对应的第一策略结果参数和第一对照策略结果参数；第二分组模块，用于根据第二预设条件和第二分配算法对所述第二用户群体的至少部分进行分组，对应的第二分组类别至少包括第二实验组和第二对照组；第二策略执行模块，用于通过网络控制所述第二实验组和所述第二对照组中用户群体的用户终端分别执行第二策略和第二对照策略；第二监测模块，用于通过网络监测所述第二策略和所述第二对照策略执行后对应的第二策略结果参数和第二对照策略结果参数；第一结果比较模块，用于比较所述第一策略结果参数和所述第一对照策略结果参数得到第一比较结果，基于所述第一比较结果判断所述第一策略的有效性；第二结果比较模块，用于比较所述第二策略结果参数和所述第二对照策略结果参数得到第二比较结果，基于所述第二比较结果判断第二策略的有效性。

本说明书实施例之一提供一种策略执行的测试跟踪装置，所述装置包括处理器，其特征在于，所述处理器用于执行上述的策略执行的测试跟踪的方法。

本说明书实施例之一提供一种计算机可读存储介质，所述存储介质存储计算机指令，当计算机读取存储介质中的计算机指令后，计算机执行上述的策略执行的测试跟踪的方法。

附图说明

本申请将以示例性实施例的方式进一步说明，这些示例性实施例将通过附图进行详细描述。这些实施例并非限制性的，在这些实施例中，相同的编号表示相同的结构，其中：

图1是根据本申请一些实施例所示的策略执行的测试跟踪系统的应用场景示意图；

图2是根据本申请一些实施例所示的策略执行的测试跟踪方法示例性流程图；

图3是根据本申请一些实施例所示的策略执行的测试跟踪系统所对应的实验平台的示意图；以及

图4是根据本申请一些实施例所示的策略执行的测试跟踪系统的模块图。

具体实施方式

为了更清楚地说明本申请实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本申请的一些示例或实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图将本申请应用于其它类似情景。除非从语言环境中显而易见或另做说明，图中相同标号代表相同结构或操作。

应当理解，本文使用的“系统”、“装置”、“单元”和/或“模组”是用于区分不同级别的不同组件、元件、部件、部分或装配的一种方法。然而，如果其他词语可实现相同的目的，则可通过其他表达来替换所述词语。

如本申请和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其它的步骤或元素。

虽然本申请对根据本申请的实施例的系统中的某些模块或单元做出了各种引用，然而，任何数量的不同模块或单元可以被使用并运行在客户端和/或服务器上。所述模块仅是说明性的，并且所述系统和方法的不同方面可以使用不同模块。

本申请中使用了流程图用来说明根据本申请的实施例的系统所执行的操作。应当理解的是，前面或后面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各个步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。

本说明书一个或多个实施例涉及一种策略执行的测试跟踪系统，该系统可以应用于测试互联网等行业的产品设计改动策略的有效性。例如，当测试结果显示互联网产品的改动策略能够达到预期效果或满足相应的评估标准时，则可以认为改动策略有效，反之，当测试结果显示互联网产品的改动策略不能够达到预期效果或满足相应的评估标准时，则可以认为改动策略无效。互联网等行业产品可以包括但不限于工具型产品、媒体型产品、社区型产品、游戏型产品、平台型产品以及综合型产品等。例如，用于为用户在线推送车辆加油相关信息的产品、用于共享出行的产品、用于为用户推送新闻的产品以及网络购物平台等。

在一些实施例中，策略执行的测试跟踪系统可以在较小的范围内对产品的改动策略进行测试，以降低该测试可能带来的任何影响。策略执行的测试跟踪系统可以是一个线上实验平台，该系统中的每一个测试策略均可以对应于实验平台中的一个实验，实验平台可以同时进行多个实验。例如，每次产品改动都在实验平台中圈定少量用户进行实验，当实验结果表明本次改动能够达到预期效果或满足相应的评估标准时，才逐步增加采用该策略的用户数。即使实验结果表明本次改动不能达到预期效果或效果变得更差，影响的也只是小部分用户，不会造成大问题。

在一些实施例中，实验平台的所有实验可以位于同一实验层，当实验平台中有流量(例如，一定数量的在线用户群体)进入时，位于同一实验层的所有实验可以按照规则分割进入实验平台的总流量。例如，所有的实验可以平均分割实验平台的总流量。实验平台可以统计流量进入任意一个实验后所产生的策略结果参数，该策略结果参数可以体现在流量中的每一个用户的信息中，该策略结果参数可以包括但不限于对应流量的点击量、订单量、转化率、浏览时间以及等待时间。在该实施例中，产品的所有改动策略均可通过实验来测试其有效性，但当产品策略频繁调整时，每个实验所分配的流量也需要频繁调整，从而导致无法快速响应业务需求。

在一些实施例中，实验平台可以分为多个不同的实验层。实验平台中的流量在执行一个实验层的实验后，可以进入下一个实验层继续进行其他实验。当实验平台有新的策略实验需要实施时，则可以在下一个实验层中进行实验。在该实施例中，流量可以在多个实验层中反复使用，实现流量共享，提高流量的利用率；并且加入新的实验后无需对原有实验的流量进行调整，该方式可以快速响应业务需求。

在一些实施例中，实验平台可以用于在线测试互联网加油产品的策略有效性。实验平台可以用于测试该产品不同的界面显示方式策略的有效性，界面显示方式可以包括但不限于界面背景、字体设置、各功能区域的摆放位置、文案内容、信息呈递方式等。例如，第一层中的每一个实验可以对应于不同的字体颜色的改变策略，第一层中的第一个实验可以进行字体颜色变成黄色时的测试，第二个实验可以进行字体颜色变成红色时的测试。在一些实施例中，实验平台还可以用于测试该产品不同的后台数据处理策略的有效性，后台数据处理策略可以包括但不限于各种信息(如，加油站)的推荐方式、排序方式等。例如，第二层中的第一个实验可以执行加油站按距离推荐的策略，第二层中的第二个实验可以执行加油站按品牌推荐的策略。在一些实施例中，实验平台还可以用于测试共享出行类产品的策略有效性。例如，可以用于测试不同的上车点推荐策略的有效性、不同的司机推送策略的有效性、不同的派单方式策略的有效性等。

图1是根据本申请一些实施例所示的策略执行的测试跟踪系统的应用场景示意图。

在一些实施例中，策略执行的测试跟踪系统100可以包含服务器110、网络120、用户终端130以及存储设备140。服务器110可包含处理器112。

在一些实施例中，服务器可以用于处理与策略测试相关的信息和/或数据。例如，服务器110可以根据产品的业务领域自动的选择用户群体进行产品策略实验。在一些实施例中，服务器110还可以通过网络120获取用户终端130的用户群体的相关信息。例如，服务器110可以通过获取用户终端的GPS信号来获取对应的用户群体的位置。再例如，服务器110也可以通过网络从对应的存储设备中获取用户群体的属性信息以及喜好信息。在一些实施例中，服务器110还可以基于用户群体的分组结果自动地控制对应用户群体的用户终端130执行对应的策略。在一些实施例中，服务器110还可以记录并评估策略的有效性。例如，服务器110可以通过网络向某一用户群体的用户终端实施第一对照策略，同时通过网络向另一用户群体的用户终端实施第一对照策略，并通过对比二者的执行结果，判断第一对照策略的有效性。

在一些实施例中，服务器110可以是独立的服务器或者服务器组。该服务器组可以是集中式的或者分布式的(如：服务器110可以是分布系统)。在一些实施例中，该服务器110可以是区域的或者远程的。例如，服务器110可通过网络120访问存储于用户终端130、存储设备140中的信息和/或资料。在一些实施例中，服务器110可直接与用户终端130、存储设备140连接以访问存储于其中的信息和/或资料。在一些实施例中，服务器110可在云平台上执行。例如，该云平台可包括私有云、公共云、混合云等中的一种或其任意组合。

在一些实施例中，服务器110可包含处理器112。该处理器112可处理与执行一个或多个本申请中描述的功能。例如，处理器112可以根据对第一用户群体进行筛选，以确定第二用户群体。又例如，处理器112还可以将第二用户群体分成实验组和对照组。又例如，处理器112可以通过对比执行第一对照策略产生的第一对照策略结果参数和执行第一对照策略产生的第一对照策略结果参数，来判断第一对照策略的有效性。在一些实施例中，处理器112可包含一个或多个子处理器(例如，单芯处理设备或多核多芯处理设备)。仅仅作为范例，处理器112可包含中央处理器(CPU)、专用集成电路(ASIC)、专用指令处理器(ASIP)、图形处理器(GPU)、物理处理器(PPU)、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、可编辑逻辑电路(PLD)、控制器、微控制器单元、精简指令集电脑(RISC)、微处理器等或以上任意组合。

网络120可促进数据和/或信息的交换。在一些实施例中，策略执行的测试跟踪系统100中的一个或多个组件(例如，服务器110、用户终端130、存储设备140)可通过网络120发送数据和/或信息给策略执行的测试跟踪系统100中的其他组件。例如，服务器110可以通过网络获取用户群体的相关信息。又例如，服务器110可以网络向用户终端130发送信息，以控制其执行产品策略。还例如，服务器110可以通过网络120监测和/或获取用户终端130中执行产品策略所产生的策略结果参数。在一些实施例中，网络120可是任意类型的有线或无线网络。例如，网络120可包括缆线网络、有线网络、光纤网络、电信网络、内部网络、网际网络、区域网络(LAN)、广域网络(WAN)、无线区域网络(WLAN)、都会区域网络(MAN)、公共电话交换网络(PSTN)、蓝牙网络、ZigBee网络、近场通讯(NFC)网络等或以上任意组合。在一些实施例中，网络120可包括一个或多个网络进出点。例如，网络120可包含有线或无线网络进出点，如基站和/或网际网络交换点120-1、120-2、…，通过这些进出点，策略执行的测试跟踪系统100的一个或多个组件可连接到网络120上以交换数据和/或信息。

用户终端130可以是用户使用产品时的客户端，例如，在加油应用产品的用户群体中，其每个用户手持的能够显示加油应用界面的手机。在一些实施例中，用户终端130可以用于执行产品策略，并产生相应的策略结果参数。在一些实施例中，不同用户群体的用户终端130可以执行不同的产品策略。例如，服务器110可以通过网络120控制第一实验组用户的用户终端130执行第一对照策略；服务器110也可以通过网络120控制第一对照组用户的用户终端130执行第一对照策略。又例如，用户终端130执行第一对照策略后可以产生第一对照策略结果参数，该第一对照策略结果参数还可以通过网络120传输至服务器110。在一些实施例中，用户群体在使用用户终端130的过程中，可以产生相关信息，可视其为策略对应的结果参数，例如，该用户群体中的用户终端有多少人点击了这个广告页面。在一些实施例中，用户终端130可包括移动装置130-1、平板电脑130-2、笔记本电脑130-3、机动车内建装置130-4等中的一种或其任意组合。在一些实施例中，移动装置130-1可包括智能家居装置、可穿戴装置、智能行动装置、虚拟实境装置、增强实境装置等或其任意组合。在一些实施例中，智能家具装置可包括智能照明装置、智能电器的控制装置、智能监测装置等或其任意组合。在一些实施例中，用户终端130可包括具有定位功能的装置，以确定用户和/或用户终端130的位置。

存储设备140可存储资料和/或指令。例如，存储设备140可存储用户群体中每个用户的喜好信息等。再例如，存储设备140可通过网络120从用户终端130获取策略执行后的结果参数，并将其作为用户的相关信息进行存储。在一些实施例中，存储设备140可存储供服务器110执行或使用的信息和/或指令，以执行本申请中描述的示例性方法。在一些实施例中，存储设备140可包括大容量存储器、可移动存储器、挥发性读写存储器(例如，随机存取存储器RAM)、只读存储器(ROM)等或以上任意组合。在一些实施例中，存储设备140可在云平台上实现。例如，该云平台可包括私有云、公共云、混合云等或以上任意组合。

在一些实施例中，存储设备140可与网络120连接以与系统100的一个或多个组件(例如，服务器110、用户终端130等)通讯。策略执行的测试跟踪系统100的一个或多个组件可通过网络120访问存储于存储设备140中的资料或指令。在一些实施例中，存储设备140可直接与策略执行的测试跟踪系统100中的一个或多个组件(如，服务器110、用户终端130)连接或通讯。在一些实施例中，存储设备140可以是服务器110的一部分。

在一些实施例中，本申请中策略执行的测试跟踪系统可以从线上用户总流量中自动地筛选出与待测试策略匹配的用户群体进行测试，还可以在进行某一策略测试实验时，根据预设条件和算法对测试流量进行自动地分组，还可以自动地监测策略在对应用户群体的用户终端上执行后的执行结果，并基于执行结果自动地给出关于该策略有效性的判断结果。该策略测试系统的使用者只需要把待测试的策略输入系统，系统可以自动地输出与使用者需求相匹配的判断结果，提高了在线测试策略有效性的效率。

在一些实施例中，如果两个或多个策略之间互不冲突，该系统还可以基于同一个用户群体对所述两个或多个策略进行测试，通过多个策略测试实验共享测试流量的方式，提高了测试流量的使用率，一定程度上解决了测试流量不足以及测试效率低的问题。

在一些实施例中，在进行同一策略的测试比对实验中，该系统还基于预设的分配算法根据预设条件以及分配标准参数，对用户群体进行科学地分组，使得每组用户群体的特征尽可能地保持一致性，避免了人工分组或随机分组带来的不同组别之间用户群体的特征的差异，进而提高了对应策略测试结果的准确性。

图2是根据本申请一些实施例所示的策略执行的测试跟踪方法示例性流程图。

步骤210，通过网络获取第一用户群体的相关信息，并根据第三预设条件对第一用户群体进行筛选，确定第二用户群体。在一些实施例中，步骤210可以由用户信息获取模块410执行。

在一些实施例中，所述第一用户群体可以是一定时间内访问互联网产品的所有在线用户。在一些实施例中，一定时间内访问互联网产品的用户可以使用流量进行统计。在一些实施例中，所述第一用户群体可以对应于互联网产品的全部流量。

在一些实施例中，所述相关信息可以包括用户的位置信息。在一些实施例中，所述用户的位置信息可以通过用户的用户终端130的地理位置反映。在一些实施例中，所述用户终端130的地理位置可以包括用户终端的绝对地理位置，例如，用户终端130的地理位置为杭州或上海。在一些实施例中，所述用户终端的地理位置也可以包括用户终端的相对地理位置，例如，用户终端130的地理位置为距目标加油站的距离为5公里。在一些实施例中，服务器110可以通过定位技术来获取用户终端130的位置。所述定位技术包括但不限于卫星导航定位技术(例如，GPS导航定位、北斗导航定位)和通过IP地址进行位置定位的技术。例如，服务器110可以通过网络120获取用户终端130的GPS信号，并基于所述GPS信号确定用户的位置信息。

在一些实施例中，所述相关信息还可以包括用户的喜好信息。在一些实施例中，所述用户的喜好信息可以由用户在产品中设定。在一些实施例中，所述用户的喜好信息也可以根据用户使用产品时产生的历史记录获得。例如，用户在使用互联网加油产品时，用户可以自己设定加油时所偏好的加油站品牌。又例如，用户在使用互联网加油产品时，服务器110也可以根据用户的历史加油记录确定用户所偏好的加油站品牌。在一些实施例中，用户的喜好信息可以作为为用户的标签存储在存储设备140中，服务器110可以通过网络从存储设备140中获取与某用户对应的喜好信息。

在一些实施例中，所述相关信息还可以包括用户在用户终端130中使用产品的时间信息。在一些实施例中，所述时间信息可以对用户使用产品产生影响。例如，在用户使用共享出行产品时，用户在高峰期时间段使用产品时，用户打车所需的等待时间更长。在一些实施例中，所述时间信息可以体现为用户操作用户终端时在用户终端上显示的时间，服务器110可以通过网络获取该用户的用户终端的时间。

在一些实施例中，第二用户群体可以理解为用于测试某一策略是否有效的用户群体。进一步地，可以理解为用于测试第一策略是否有效的用户群体。在一些实施例中，可以将第一用户群体的全部流量作为用于策略测试的第二用户群体。例如，可以将数据库中的所有流量数据都作为第二用户群体，用来进行测试第一策略是否有效。在一些实施例中，也可以从第一用户群体中选取部分流量作为第二用户群体。在一些实施例中，第二用户群体的选取标准可以是随机选定，也可以是根据预设的条件进行筛选。例如，所述第二用户群体可以理解为用第三预设条件从所述全部流量中筛选出的一部分流量，用于进行判断第一策略是否有效的测试实验。在一些实施例中，所述第三预设条件可以理解为用于筛选从一批流量中筛选出第二用户群体的筛选规则。在一些实施例中，所述筛选规则可以基于以下至少一个确定：用户数量、用户的位置信息以及用户是否为相关产品的客户等。在一些实施例中，服务器110可以按照预设用户数量筛选出对应数量的流量作为第二用户群体。例如，服务器110可以随机地筛选出总流量的20％作为第二用户群体；或者服务器110也可以随机地筛选出2万个用户作为第二用户群体。在一些实施例中，服务器110可以将位置信息处于同一地理范围内的用户群体圈定为第二用户群体。例如，服务器110可以将位置信息为杭州的用户群体确定为第二用户群体。在一些实施例中，服务器110可以将第一策略对应产品的客户群体作为第二用户群体。例如，第一策略包括加油应用页面的显示策略，则服务器110可以将使用过以及正在使用加油产品的用户作为第二用户群体。

在一些实施例中，可以基于筛选后的第二用户群体进行某个策略有效性的评估实验，在评估实验中，为了判断某个策略是否有效，需要将该策略与其对照策略进行实验比较。对应地，后续步骤需要对第二用户群体进行分组，用于测试上述策略及其对照策略。

步骤220，根据第一预设条件和第一分配算法对第二用户群体进行分组。在一些实施例中，步骤220可以由第一分组模块430执行。

在一些实施例中，服务器110可以根据第一预设条件和第一分配算法自动地对所述第二用户群体进行分组，分组的类别至少包括第一实验组和第一对照组；分别对应于第一策略和第一对照策略的测试。

在一些实施例中，所述第一分配算法可以理解为服务器110在所述第一预设条件的限定下，对第二用户群体进行自动分组的分配算法指令。

在一些实施例中，所述第一预设条件可以理解为服务器110对第二用户群体进行分组时的限定条件，包括但不限于分组的数量、每组对应的流量比例。例如，第一预设条件可以包括将第二用户群体分为两组：实验组和对照组，其中，30％用于实验组，70％用于对照组。

在一些实施例中，第一分配算法可以包括随机分配算法，即对第二用户群体中的每一个用户进行随机分配。例如，服务器110可以随机地抽取第二用户群体中的30％的用户作为实验组成员，其余的70％作为对照组成员。

在一些实施中，如果用不同组的用户群体来测试策略改变后的效果时，不同组内用户群体的特征信息越一致，则可以越好地反映策略改变带来的效果差异。其中，用户群体的特征信息可以包括用户群体的喜好信息(例如，该用户是比较在意价格、还是比较在意品牌、还是比较在意距离)、位置信息(例如，用户所在城市)等至少一个。对应的，为了能够提高实验结果的准确性，在对第二用户群体进行分组时，可以基于上述用户群体的特征信息作为分配标准参数，使得服务器能够通过第二分配算法在进行自动分组时能兼具科学性。所述分配标准参数包括用户群体的喜好信息和/或位置信息。在一些实施例中，当第一分配算法的分配标准参数包括喜好信息时，第一分配算法可以将喜好类型一致的用户群体按照第一预设条件中对实验组和对照组的限定比例进行分配。具体的，第一分配算法可以先将第二用户群体根据喜好类型进行分类，然后将每一类中的用户群体按照对应的比例要求分入对应的组别。例如，第一分配算法可以先将第二用户群体分成两类，第一类用户群体喜欢价格低的；第二类用户群体喜欢某一品牌的。然后将第一类用户群体按照30％和70％的比例分成实验组成员和对照组成员，将第二类用户群体也按照30％和70％的比例分成实验组成员和对照组成员。在一些实施例中，当第一分配算法的分配标准参数包括位置信息时，第一分配算法可以将位置一致的用户群体按照第一预设条件中对实验组和对照组的限定比例进行分配。例如，第一分配算法可以将第二用户群体中的杭州用户按照30％和70％的比例分成实验组成员和对照组成员，将第二用户群体中的苏州用户按照30％和70％的比例分成实验组成员和对照组成员。在一些实施例中，当第一分配算法的分配标准参数包括位置信息和喜好信息，可参照前述方法，将同一喜好类型以及同一位置区域的用户群体按照预设的比例分成实验组和对照组。步骤230，通过网络控制第一实验组和第一对照组中用户群体的用户终端分别执行第一策略和第一对照策略，步骤230可以由第一策略执行模块440执行。

在一些实施例中，服务器110可以通过网络120控制第一实验组和第一对照组中用户群体的用户终端130分别执行第一策略和第一对照策略。在一些实施例中，所述第一策略可以是产品改变后的策略，所述第一对照策略可以是产品改变前的策略。

在一些实施例中，控制用户终端130执行策略可以理解为服务器110通过网络120将相应的策略应用到用户终端130中；用户对于该用户终端130的响应可以理解为用户终端执行该策略后的执行结果。在一些实施例中，用户终端130执行某一策略后，可以通过界面显示的方式被用户感知，例如，前端界面展示策略，或者能够引起前端界面展示变化的后台数据策略或后台模型策略。在一些实施例中，用户终端130执行某一策略后无法通过前端界面显示，即无法被用户感知，例如，后台数据策略中派车算法策略。

不论用户终端执行策略能否带来前端界面的变化，被用户感知，用户在一定时间内在该用户终端上的响应或操作可作为对应策略的执行结果。例如，用户终端上的加油产品对应的加油排序算法策略的变化，可以带来前端界面中加油站显示的变化，用户在用户终端上的点击操作或下单操作可以作为策略变化后的执行结果。再例如，用户终端上的出行产品对应的后台数据中执行的是改变后的派车算法策略，虽然用户在前端界面中感知不到，但用户在用户终端操作的上车时间可以作为该策略对应的执行结果。

本说明书一个或多个实施例提及的策略可以包括以下一种或者多种的组合：前端界面展示策略、前端界面的数据调用策略、后台模型相关策略以及后台数据相关策略。

在一些实施例中，所述前端界面展示策略可以包括但不限于界面背景、字体相关设置、各功能区域的摆放位置、文案内容、信息呈递方式等策略。例如，字体颜色为黄色或红色等。例如，界面背景为白色，或带有节日氛围的彩色等。例如，多个功能按钮的不同摆放顺序等。例如，文案的内容为普通话习惯或方言习惯等。例如，信息呈递的方式为文字形式或图片形式等。

在一些实施例中，所述前端界面的数据调用策略可以包括但不限于数据的调用路径、数据的调用内容、数据的调用范围等策略。例如，调用过的数据存放在内存中以方便下次快速呈现的策略。例如，互联网加油产品中调用某一个加油站数据时，调用其具体地址、油价、历史加油次数等数据的策略。例如，调用加油站数据时，调用距离用户5公里以内的加油站数据。

在一些实施例中，所述后台模型相关策略可以是指不同的后台数据处理框架或算法模型的使用策略，包括但不限于排序模型、图像识别模型、自然语义模型、深度学习模型等策略。例如，共享出行产品用于推荐上车点的排序模型的策略。例如，基于用户查询获取历史订单的自然语义模型的策略。

在一些实施例中，所述后台数据相关策略可以包括但不限于数据的获取、数据的调用、数据的调整、数据的评估等策略。例如，获取距离用户范围3公里以内的加油站数据的策略。例如，评估数据优先级，并使用优先级更高的数据的策略。例如，订单派发算法中的参数调整策略等。

步骤240，通过网络监测第一策略和第一对照策略执行后对应的第一策略结果参数和第一对照策略结果参数。在一些实施例中，步骤240可以由第一监测模块450执行。

在一些实施例中，服务器110通过网络120控制对应的用户终端130执行相应策略后，会引发与用户行为相关的执行结果，所述执行结果的至少部分可视为策略结果参数。具体的，第一实验组的用户群体所对应的用户终端130在执行所述第一策略后可以引发与该用户群体的用户行为相关的执行结果，并获得对应的第一策略结果参数；第一对照组的用户群体所对应的用户终端130在执行所述第一对照策略后可以引发与该用户群体的用户行为相关的执行结果，并获得对应的第一对照策略结果参数。在一些实施例中，服务器110可以通过网络120对所述第一策略结果参数和第一对照策略结果参数进行监测和记录，可以方便后续对策略的执行结果进行比对分析。例如，服务器110可以通过网络120将监测到的第一策略结果参数和第一对照策略结果参数进行记录，并将记录的结果存储在存储设备140中，以便后续对这两个参数进行比较。在一些实施例中，服务器110可以监测第一实验组和第一对照组中用户群体中每个用户的策略执行结果。在不同的应用场景中，所述策略结果参数各不相同，下面将结合不同场景对策略结果参数进行详细说明。

在一些实施例中，所述策略结果参数可以包括但不限于对应用户群体的点击量、订单量、转化率、浏览时间以及等待时间等。在一些实施例中，所述点击量可以是对应用户群体中用户的点击数量，或点击率；所述订单量可以是对应用户群体中用户的下单数量，或下单总额度；所述浏览时间可以是对应用户群体中用户在浏览界面的停留时间；所述等待时间可以是对应用户群体中用户在使用共享出行产品时，从生成用车订单到上车的时间。在一些实施例中，所述点击量或订单量或转化率或浏览时间增加，则表明对应的策略结果参数变好，反之，则对应的策略结果参数变差；所述等待时间减少，则表明对应的策略结果参数变好，反之，则对应的策略结果参数变差。

在一些实施例中，所述前端界面可以包括加油应用界面，对应的前端界面展示策略可以包括与加油站的地址选择或相关信息展示顺序相关的策略，所述相关信息可以包括加油站的品牌、油价、距离等信息，对应的策略结果参数可以包括点击量、订单量以及浏览时间中至少一个。

在一些实施例中，实验平台可以对与加油站的地址选择相关的策略进行测试。例如，原始的加油站的地址选择策略可以是通过点击文字列表进行选择，待测试的策略可以是：在地图中通过点击加油站标签进行选择。此时第一对照策略对应于通过点击文字列表进行选择的策略，第一策略对应于在地图中通过点击加油站标签进行选择的策略。所述第一对照策略结果参数对应于用户通过点击文字列表进行选择时所需的浏览时间，所述第一策略结果参数对应于用户在地图中通过点击加油站标签进行选择时所需的浏览时间。在后续步骤中，可以通过对比两者的浏览时间来确定策略改动的有效性。在一些实施例中，浏览时间减小，则表明策略结果参数变好，策略改动有效。

在一些实施例中，实验平台可以对加油站的相关信息展示顺序策略进行测试。示例性的，原始的加油站的相关信息展示顺序策略可以是按照距离远近进行展示，待测试的策略可以是：按照品牌进行展示的策略。此时，第一对照策略对应于按照距离远近进行展示的策略，第一策略对应于按照品牌进行展示的策略。所述第一对照策略结果参数对应于按照距离远近进行展示时的订单量，所述第一策略结果参数对应于按照品牌进行展示时的订单量。在后续步骤中，可以通过对比两者的订单量来确定策略改动的有效性。在一些实施例中，订单量增多，则表明策略结果参数变好，策略改动有效。

在一些实施例中，实验平台可以用于在线测试互联网资源投放产品。在一些实施例中，所述前端界面可以包括资源投放应用界面，例如，资源投放在应用界面中的占比、位置等。在一些实施例中，对应的策略可以包括但不限于资源显示的内容或形式相关的页面设计以及与所述页面设计相关的后台算法的调整策略。在一些实施例中，对应的策略结果参数可以包括点击量和/或转化率。在一些实施例中，所述转化率可以理解为达成转化目标的用户数量在资源投放总用户中的占比。

在一些实施例中，实验平台可以对资源显示的内容或形式相关的页面设计的策略进行测试。例如，互联网资源投放产品在应用中投放广告，原始的投放策略为投放图片形式的广告，待测试的策略可以是：投放视频形式的广告。此时，第一对照策略对应于投放图片形式的广告策略，第一策略对应于投放视频形式的广告策略。所述第一对照策略结果参数对应于用户点击图片广告的点击量，所述第一策略结果参数对应于用户点击视频广告的点击量。在后续步骤中，可以通过对比两者的点击量来确定策略改动的有效性。点击量变高，则表示策略结果参数变好，策略改动有效。

在一些实施例中，实验平台可以对页面设计相关的后台算法的策略进行测试。例如，互联网资源投放产品在应用中投放活动信息，通过后台算法确定投放内容，原始的策略为以活动热度作为算法的主要参数，待测试的策略可以是：以用户偏好作为算法的主要参数。此时，第一对照策略对应于以活动热度作为算法的主要参数的策略，第一策略对应于以用户偏好作为算法的主要参数的策略。所述第一对照策略结果参数对应于以活动热度作为算法的主要参数时，活动的转化率；所述第一策略结果参数对应于以用户偏好作为算法的主要参数时，活动的转化率。在后续步骤中，可以通过对比两者的转化率来确定策略改动的有效性。转化率变高，则表示策略结果参数变好，策略改动有效。

在一些实施例中，实验平台可以用于在线测试共享出行产品的策略有效性。在一些实施例中，所述后台数据可以包括订单派发相关的算法数据，例如，将用户订单派发给司机的算法数据。在一些实施例中，所述策略包括订单派发算法中相关参数的调整，例如，根据道路的拥堵情况对算法参数进行调整。在一些实施例中，对应的策略结果参数可以包括等待时间。

示例性的，共享出行产品接收到乘客订单时，通过后台算法向司机进行派单，原始的后台算法为按照司机与乘客的距离进行派单，待测试的算法可以是：根据司机与乘客之间道路的拥堵情况进行派单。此时，第一对照策略对应于按照司机与乘客的距离进行派单的算法，第一策略对应于根据司机与乘客之间道路的拥堵情况进行派单的算法。所述第一对照策略结果参数对应于按照司机与乘客的距离进行派单时，乘客的等待时间，所述第一策略结果参数对应于根据司机与乘客之间道路的拥堵情况进行派单时乘客的等待时间。在后续步骤中，可以通过对比两者的等待时间来确定策略改动的有效性。等待时间减小，则表示策略结果参数变好，策略改动有效。

步骤250，根据第二预设条件和第二分配算法对第二用户群体的至少部分进行分组。在一些实施例中，步骤250可以由第二分组模块431执行。

在一些实施例中，当同时有多个产品策略需要测试时，实验平台可以分为多个不同的实验层。在相同的实验层中可以进行存在相互干扰的策略测试实验，在不同的实验层可以进行不存在相互干扰的策略测试实验。

前文所述，使用第二用户群体对第一策略及其对照策略进行实验比较。在一些实施例中，为了提高数据流量的使用率，可以利用第二用户群体同时执行与所述第一策略互不干扰的策略实验(例如，第二策略实验)。在第二策略开始之前，同样需要对实验流量进行再次分组。在分组的过程中，可以对第二用户群体进行再次分组，也可以将第二用户群体中的部分用户群体进行分组。

在一些实施例中，某一个策略及其对照策略的实验测试可以在同一实验中进行。例如，第一策略以及第一对照策略在同一个实验中进行分组测试(如，在图3的实验B中分组进行第一策略以及第一对照策略的测试)。此时，服务器110可以通过网络对第二用户群体进行再次分组。在有的实施例中，某一个策略及其对照策略的测试需要在不同的实验中进行。例如，第一策略在第一实验中进行测试，第一对照策略在第二实验中进行测试(如，图3中实验A用于进行第一策略测试，实验B用于进行第一对照策略测试)。此时，服务器110可以通过网络对第二用户群体中第一策略对应的用户群体进行再次分组，也可以对第一对照策略对应的用户群体进行再次分组。

在一些实施例中，服务器110通过网络对第二用户群体的至少部分进行再次分组时，可以根据第二预设条件以及第二分配算法自动地进行。在一些实施例中，所述第二预设条件可以理解为基于第二策略实验进行分组的一些限定条件，包括分组的数量，例如，包括第二实验组和第二对照组；还包括每组对应的流量比例，例如，第二实验组和第二对照组分别按照40％和60％的用户数量进行分配。关于第二预设条件的具体描述可参见前述步骤220。对应的，参照前述第一分配算法，第二分配算法可以使用随机分配算法，也可以基于所述分配标准参数来进行分配，以使第二实验组和第二对照中的用户具有一致性的喜好类型和/或位置区域。关于第二分配算法的具体描述可参见前述步骤220。

在一些实施例中，在使用执行完其他策略测试的用户群体进行测试下一个策略有效性测试时，需要对执行其他策略之后的用户群体进行均匀打散，以第二策略的分组实验中，每组中用户群体受到上述其他策略的影响都是一致的，进而可以提高第二策略有效性判断结果的准确性。对应的，在一些实施例中，第二分配算法还包括能够对测试流量进行均匀打散的算法。在一些实施例中，所述第二分配算法可以包括哈希算法，例如，预设算法可以是哈希算法中的Murmur3_128算法，该算法可以将流量均匀打散后，均匀分配到需要进行实验比较的每一组中。

步骤260，通过网络控制第二实验组和第二对照组中用户群体的用户终端分别执行第二策略和第二对照策略。在一些实施例中，步骤260可以由第二策略执行模块441执行。

在一些实施例中，服务器110可以通过网络120控制第二实验组和第二对照组中用户群体的用户终端130分别执行第二策略和第二对照策略。在一些实施例中，所述第二策略可以是产品改变后的策略，所述第二对照策略可以是产品改变前的策略。在一些实施例中，所述第二策略可以是与第一策略相互干扰的策略，即第一策略和第二策略同时执行时，不会导致二者中任何一个策略的无法实施。例如，前端页面的字体变为红色的策略和前端页面背景变为红色的策略是存在相互干扰的策略，二者同时实施时，前端页面的字体颜色和背景颜色均变为相同的颜色，造成前端页面无法正常显示。例如，前端页面的字体变为红色的策略和查询结果排序规则的策略是不存在相互干扰的策略，二者可以同时实施。

步骤270，通过网络监测第二策略和第二对照策略执行后对应的第二策略结果参数和第二对照策略结果参数。在一些实施例中，步骤270可以由第二监测模块451执行。

与步骤240类似，服务器110通过网络120控制对应的用户终端130执行相应策略后，会引发与用户行为相关的执行结果，所述执行结果的至少部分可视为策略结果参数。具体的，第二实验组的用户群体所对应的用户终端130在执行所述第二策略后可以引发与该用户群体的用户行为相关的执行结果，并获得对应的第二策略结果参数；第二对照组的用户群体所对应的用户终端130在执行所述第二对照策略后可以引发与该用户群体的用户行为相关的执行结果，并获得对应的第二对照策略结果参数。在一些实施例中，服务器110可以通过网络120对所述第二策略结果参数和第二对照策略结果参数进行监测和记录，可以方便后续对策略的执行结果进行比对分析。例如，服务器110可以通过网络120将监测到的第二策略结果参数和第二对照策略结果参数进行记录，并将记录的结果存储在存储设备140中，以便后续对这两个参数进行比较。在一些实施例中，服务器110可以监测第二实验组和第二对照组中用户群体中每个用户的策略执行结果。

以互联网加油产品为例，在第一层实验中，对加油站的信息展示顺序策略进行了测试。在第二层中，可以对活动信息推送策略进行测试。由于活动信息推送策略与加油站的信息展示顺序策略不存在相互干扰，第二层中的实验可以在第一层中的实验结果之上进行。在第二层中，原始的活动信息推送策略可以是按照时间进行推送的策略，待测试的策略可以是：按照使用频率进行推送的策略。此时，第二对照策略对应于按照时间进行推送的策略，第二策略对应于按照使用频率进行推送的策略。所述第二对照策略结果参数对应于按照时间进行推送时的活动信息点击量，所述第二策略结果参数对应于按照使用频率进行推送时的活动信息点击量。服务器110可以通过网络120对第二策略结果参数和第二对照策略结果参数进行监测。在后续步骤中，服务器110还可以通过对比两者的点击量来确定策略改动的有效性。

步骤280，比较第一策略结果参数与第一对照策略结果参数，并判断第一对照策略的有效性。在一些实施例中，步骤280可以由第一结果比较模块460执行。

在一些实施例中，服务器110可以将所述第一对照策略结果参数和所述第一策略结果参数进行对比，并得到第一比较结果，并基于第一比较结果判断所述第一策略的有效性。其中，得到第一比较结果的过程可以包括比较所述第一对照策略结果参数和所述第一策略结果参数是否存在显著差异。在一些实施例中，所述显著差异的判断可以基于一个预设的标准，所述预设的标准可以根据具体的实验内容制定。例如，上述互联网加油产品策略测试的实施例中，可以对第一对照策略结果参数的订单量和第一策略结果参数的订单量进行对比，如果两者的差异小于3％，则认为二者不存在显著差异，反之，若大于或等于3％，则认为二者存在显著差异。又例如，在互联网资源投放产品策略测试的实施例中，对第一对照策略结果和第一策略结果的点击率进行对比，若两者的差异小于5％，则认为二者不存在显著差异，反之，若大于或等于5％，则认为二者存在显著差异。还例如，在共享出行产品策略测试的实施例中，对第一对照策略结果和第一策略结果的等待时间进行对比，若两者的差异小于3分钟，则认为二者不存在显著差异，反之，若大于或等于3分钟，则认为二者存在显著差异。在一些实施例中，当所述第一比较结果为不存在显著差异时，无需进一步对二者进行比较。当所述第一比较结果为存在显著差异时，则进一步对二者的大小进行比较，确定第一对照策略结果参数与第一策略结果参数的大小关系，以便在后续步骤中确定所述第一策略和所述第一对照策略的有效性。

在一些实施例中，得到第一比较结果的过程还可以包括：直接计算第一结果参数相对第一对照结果参数的变化数值，并基于变化数值以及预设的变化阈值来自动地判断是否有效。在一些实施例中，所述计算可以包括但不限于计算二者的差值、增长比值等任意一种计算方式。在一些实施例中，所述变化阈值可以根据具体的实验内容设定。例如，在加油站场景中，计算得到第一结果参数(例如，点击量)相对第一对照结果参数的变化数值为：+50％。又例如，在加油场景中，计算得到第一结果参数(例如，订单量)相对第一对照结果参数的变化数值为：-30％。

在一些实施例中，所述有效性可以表示策略是否带来了更好的效果的，当策略带来了更好的效果是，可以认为策略具有有效性，反之，当策略没有带来更好的效果时，可以认为策略不具有有效性，或策略无效。

在一些实施例中，当所述第一对照策略结果参数和所述第一策略结果参数的对比结果不存在显著差异时，则表示策略改动之后的第一策略与策略改动之前的第一对照策略相比，效果基本一致，没有获得预期的结果，则可以判断第一策略不具有有效性。在一些实施例中，当所述第一对照策略结果参数和所述第一策略结果参数的对比结果存在显著差异时，可以根据二者的大小关系确定第一对照策略和所述第一策略的有效性。例如，在互联网加油产品策略测试的实施例中，若两者的订单量存在显著差异且第一策略的订单量更大，则第一策略具有有效性，反之若第一策略的订单量更小，则第一策略不具有有效性。又例如，在互联网资源投放产品策略测试的实施例中，若两者的点击量存在显著差异且第一策略的订单量更大，则第一策略具有有效性，反之若第一策略的点击量更小，则第一策略不具有有效性。还例如，在共享出行产品策略测试的实施例中，若两者的等待时间存在显著差异且第一策略的等待时间更短，则第一策略具有有效性，反之若第一策略的等待时间更长，则第一策略不具有有效性。

在一些实施例中，服务器110也可以直接根据第一比较结果中的变化数值以及预设的阈值来判断第一策略的有效性。如果变化数值没有达到预设的阈值，则表示第一策略无效，如果变化数值大于或等于预设的阈值，则表示第一策略有效。例如，在加油场景中，第一策略对应的结果参数为点击量，预设的阈值为+40％，其中，第一策略对应的变化数值为+50％，则表示第一策略有效。

步骤290，比较第二策略结果参数与第二对照策略结果参数，并判断第二策略的有效性。在一些实施例中，步骤290可以由第二结果比较模块461执行。

在一些实施例中，服务器110可以将所述第二策略结果参数和所述第二对照策略结果参数进行比较，得到第二比较结果，并基于第二比较结果判断所述第二策略的有效性。此处比较所述第二策略结果参数和所述第二对照策略结果参数的方法与前述比较所述第一策略结果参数和所述第一对照策略结果参数的方法相类似，本领域技术人员可以参照步骤280中的相关描述类似理解，此处不再赘述。

在一些实施例中，服务器110还可以基于所述第二策略结果参数和所述第二对照策略结果参数的第二比较结果判断所述第二策略和所述第二对照策略的有效性。此处判断所述第二策略和所述第二对照策略的有效性的方法与前述判断所述第一策略和所述第一对照策略的有效性的方法相类似，本领域技术人员可以参照步骤280中的相关描述类似理解，此处不再赘述。

应当注意的是，上述有关流程100的描述仅仅是为了示例和说明，而不限定本申请的适用范围。对于本领域技术人员来说，在本申请的指导下可以对流程100进行各种修正和改变。然而，这些修正和改变仍在本申请的范围之内。例如，步骤280可以拆分为两个步骤，分别用于比较第一策略结果参数和第一对照策略结果参数，以及判断第一策略和第一对照策略的有效性。

在一些实施例中，由于用户群体中的每个用户都具有随机性，导致用户群体在执行策略时可能具有较大的波动性，因此，得到的比较结果可能因为用户群体本身的波动性而存在显著差异。此时，第一策略结果参数和第一对照策略结果参数的比较结果将变得不置信。在一些实施例中，为了保证第一策略结果参数和第一对照策略结果参数的比较结果的可靠性，第一分组类别还可以包括第一验证组，所述第一验证组也用于执行第一对照策略，用以验证第一对照策略结果参数的可靠性。在一些实施例中，在前述步骤基于第一预设条件和第一分配算法对第二用户群体进行分组时，需要分成三组，即第一实验组、第一对照组以及第一验证组。其中，第一验证组中的用户群体与第一对照组的用户群体在喜好信息以及位置信息等分配标准上应保持一致性。在一些实施例中，服务器110可以通过网络120控制第一验证组的用户群体的用户终端130执行第一对照策略，并通过网络120监视所述第一验证组的用户群体在用户终端130上执行第一对照策略后产生的第一验证策略结果参数。在一些实施例中，服务器110可以比较所述第一验证策略结果参数与所述第一对照策略结果参数，判断所述第一比较结果的置信度。在一些实施例中，若所述第一验证策略结果参数与所述第一对照策略结果参数存在显著差异，则第一比较结果不置信，反之，则第一比较结果置信。若第一比较结果置信，则实验中判断第一策略有效性的结果置信，反之，则实验中判断第一策略有效性的结果不置信。

相似的，为了保证第二策略结果参数和第二对照策略结果参数的比较结果的可靠性，第二分组类别还可以包括第二验证组，所述第二验证组也执行第二对照策略，用以验证第二对照策略结果参数的可靠性。在一些实施例中，第二验证组所对应的流量可以根据需要从第二分组类别的流量中分配。在一些实施例中，服务器110可以通过网络120控制第二验证组的用户群体的用户终端130执行第二对照策略，并通过网络120监视所述第二验证组的用户群体在用户终端130上执行第二对照策略后产生的第二验证策略结果参数。在一些实施例中，服务器110可以比较所述第二验证策略结果参数与所述第二对照策略结果参数，判断所述第二比较结果的置信度。此处，判断所述第二比较结果置信度的方法与上述判断第一比较结果置信度的方法类似，此处不再赘述。

图3是根据本申请一些实施例所示的策略执行的测试跟踪系统所对应的实验平台的示意图。

为了清楚地表示本说明书方案在相关场景中的应用，下面将结合图3对策略执行的测试跟踪系统所对应的多层实验平台进行详细说明。

在一些实施例中，实验平台可以从线上总流量中自动地获取用户群体进行实验。在一些实施例中，实验平台可以同时进行多个实验(例如，实验A～G)，提高系统的实验效率。其中，实验平台可以基于其中一个用户群体n同时进行多个实验(例如，实验B～G)，提高了在线样本数据的利用率，一定程度上解决了样本数量不足的问题。

在一些实施例中，参照图3，实验平台可以进行互联网加油产品的在线策略测试，该实验平台具有三个实验层，在第一层中有两个实验：实验A、实验B；在第二层中有三个实验：实验C、实验D和实验E；在第三层中有两个实验：实验F和实验G。在一些实施例中，实验平台中的任意一个实验均可以包括对照组、验证组和实验组。

实验平台的总流量在进入第一层时被筛选为两部分：用户群体m和用户群体n。在一些实施例中，所述用户群体m用于进行实验A，所述用户群体n用于进行实验B。

在第一层中，以实验B：按照品牌展示加油站信息的策略实验为例，用户群体n进入实验B后，被自动分配成三份，分别用于对实验B进行对照组、验证组和实验组。实验平台可以根据实验B的结果判断其执行的按照品牌展示加油站信息的策略是否有效。

在一些实施例中，当流量从实验B流向第二层之前，实验平台可以基于预设算法对实验B中的流量进行均匀打散，然后分成n1、n2、n3三份流量分别用于实验C、实验D以及实验E进行测试。以实验D：界面字体为黄色的策略实验为例，这部分流量进入实验D后，又被自动地分成3份，分别用于对实验D进行对照组、验证组和实验组。实验D完成后，可以根据实验结果判断界面字体为黄色的策略是否有效。

类似的，如图3所示，第三层可以使用第二层中实验C、实验D或实验F中任一个实验的流量数据进行实验。以第二层中的实验D为例，当流量从实验D流向第三层之前，实验平台可以基于预设算法对执行实验D的流量进行均匀打散处理，并将均匀打散后的流量分成n21、n22两份，分别分配给第三层的实验F和实验G。流量n21以及n22分别进入实验F或实验G时，同样会被均匀的分成3分，分别用于进行对照组、验证组和实验组。并以与前述相类似的方法，根据相应的实验结果判断实验F或实验G的策略有效性。上述实验平台将上述7个实验分布在实验平台的不同层后，系统可以按照预设的规则自动筛选以及分配用户群体的用户终端分布执行不同实验内的策略，并输出每个实验对应的策略有效性判断结果。

图4是根据本申请一些实施例所示的策略执行的测试跟踪系统的模块图。

如图4所示，该策略执行的测试跟踪系统400可以包括用户信息获取模块410、用户群体筛选模块420、第一分组模块430、第一策略执行模块440、第一监测模块450、第二分组模块431、第二策略执行模块441、第二监测模块451、第一结果比较模块460以及第二结果比较模块461。

在一些实施例中，用户信息获取模块410可以用于通过网络获取第一用户群体的相关信息。在一些实施例中，用户信息获取模块410还用于通过网络获取第一用户群体对应的用户终端的GPS信号，所述GPS信号能够反映所述位置信息。

在一些实施例中，用户群体筛选模块420可以用于根据第三预设条件对所述第一用户群体进行筛选，确定第二用户群体。

在一些实施例中，第一分组模块430可以用于根据第一预设条件和第一分配算法对所述第二用户群体进行分组，对应的第一分组类别至少包括第一实验组和第一对照组。

在一些实施例中，第一策略执行模块440可以用于通过网络控制所述第一实验组和所述第一对照组中用户群体的用户终端分别执行第一策略和第一对照策略。在一些实施例中，第一策略执行模块440还用于通过网络控制所述第一验证组中用户群体的用户终端执行所述第一对照策略。

在一些实施例中，第一监测模块450可以用于通过网络监测所述第一策略和所述第一对照策略执行后对应的第一策略结果参数和第一对照策略结果参数。在一些实施例中，第一监测模块450还用于通过网络监测所述第一验证组的用户群体在用户终端上执行第一对照策略后的第一验证策略结果参数。

在一些实施例中，第二分组模块431可以用于根据第二预设条件和第二分配算法对所述第二用户群体的至少部分进行分组，对应的第二分组类别至少包括第二实验组和第二对照组。

在一些实施例中，第二策略执行模块441可以用于通过网络控制所述第二实验组和所述第二对照组中用户群体的用户终端分别执行第二策略和第二对照策略。在一些实施例中，第二策略执行模块441还用于通过网络控制所述第二验证组中用户群体的用户终端执行所述第二对照策略。

在一些实施例中，第二监测模块451可以用于通过网络监测所述第二策略和所述第二对照策略执行后对应的第二策略结果参数和第二对照策略结果参数。在一些实施例中，第二监测模块451还用于通过网络监测所述第二验证组的用户群体在用户终端上执行第二对照策略后的第二验证策略结果参数。

在一些实施例中，第一结果比较模块460可以用于比较所述第一策略结果参数和所述第一对照策略结果参数得到第一比较结果，基于所述第一比较结果判断所述第一策略的有效性。在一些实施例中，第一结果比较模块460还用于比较所述第一验证策略结果参数与所述第一对照策略结果参数，判断所述第一比较结果的置信度。

在一些实施例中，第二结果比较模块461可以用于比较所述第二策略结果参数和所述第二对照策略结果参数得到第二比较结果，基于所述第二比较结果判断第二策略的有效性。在一些实施例中，第二结果比较模块461还用于比较所述第二验证策略结果参数与所述第二对照策略结果参数，判断所述第二比较结果的置信度。

应当理解，图4所示的系统及其模块可以利用各种方式来实现。例如，在一些实施例中，系统及其模块可以通过硬件、软件或者软件和硬件的结合来实现。其中，硬件部分可以利用专用逻辑来实现；软件部分则可以存储在存储器中，由适当的指令执行系统，例如微处理器或者专用设计硬件来执行。本领域技术人员可以理解上述的方法和系统可以使用计算机可执行指令和/或包含在处理器控制代码中来实现，例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本申请的系统及其模块不仅可以有诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用例如由各种类型的处理器所执行的软件实现，还可以由上述硬件电路和软件的结合(例如，固件)来实现。

需要注意的是，以上对于策略执行的测试跟踪系统及其模块的描述，仅为描述方便，并不能把本申请限制在所举实施例范围之内。可以理解，对于本领域的技术人员来说，在了解该系统的原理后，可以在不背离这一原理的情况下，对各个模块进行任意组合，或者构成子系统与其他模块连接。例如，在一些实施例中，图4中披露的用户信息获取模块410、用户群体筛选模块420、第一分组模块430、第一策略执行模块440、第一监测模块450、第二分组模块431、第二策略执行模块441、第二监测模块451、第一结果比较模块460以及第二结果比较模块461可以是一个系统中的不同模块，也可以是一个模块实现上述的两个或两个以上模块的功能。例如，第一结果比较模块460可以是一个模块，也可以是分别用于获得第一比较结果和用于判断第一比较结果置信度的两个模块。又例如，各个模块可以共用一个存储模块，各个模块也可以分别具有各自的存储模块。诸如此类的变形，均在本申请的保护范围之内。

本申请实施例可能带来的有益效果包括但不限于：(1)本申请将多个策略实验按层划分，互不干扰的实验可以放在不同层，同一份流量可以同时经过多层实验，实现流量共享；(2)本申请中当流量从上层实验进入下层实验时，会被均匀打散，使得不同的实验不会相互干扰；(3)本申请将总流量分割一部分流量作为验证组，与对照组进行测试结果比较，用于验证对应策略判断结果的置信度。需要说明的是，不同实施例可能产生的有益效果不同，在不同的实施例里，可能产生的有益效果可以是以上任意一种或几种的组合，也可以是其他任何可能获得的有益效果。

上文已对基本概念做了描述，显然，对于本领域技术人员来说，上述详细披露仅仅作为示例，而并不构成对本申请的限定。虽然此处并没有明确说明，本领域技术人员可能会对本申请进行各种修改、改进和修正。该类修改、改进和修正在本申请中被建议，所以该类修改、改进、修正仍属于本申请示范实施例的精神和范围。

同时，本申请使用了特定词语来描述本申请的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本申请至少一个实施例相关的某一特征、结构或特点。因此，应强调并注意的是，本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一个替代性实施例”并不一定是指同一实施例。此外，本申请的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。

此外，本领域技术人员可以理解，本申请的各方面可以通过若干具有可专利性的种类或情况进行说明和描述，包括任何新的和有用的工序、机器、产品或物质的组合，或对他们的任何新的和有用的改进。相应地，本申请的各个方面可以完全由硬件执行、可以完全由软件(包括固件、常驻软件、微码等)执行、也可以由硬件和软件组合执行。以上硬件或软件均可被称为“数据块”、“模块”、“引擎”、“单元”、“组件”或“系统”。此外，本申请的各方面可能表现为位于一个或多个计算机可读介质中的计算机产品，该产品包括计算机可读程序编码。

计算机存储介质可能包含一个内含有计算机程序编码的传播数据信号，例如在基带上或作为载波的一部分。该传播信号可能有多种表现形式，包括电磁形式、光形式等，或合适的组合形式。计算机存储介质可以是除计算机可读存储介质之外的任何计算机可读介质，该介质可以通过连接至一个指令执行系统、装置或设备以实现通讯、传播或传输供使用的程序。位于计算机存储介质上的程序编码可以通过任何合适的介质进行传播，包括无线电、电缆、光纤电缆、RF、或类似介质，或任何上述介质的组合。

本申请各部分操作所需的计算机程序编码可以用任意一种或多种程序语言编写，包括面向对象编程语言如Java、Scala、Smalltalk、Eiffel、JADE、Emerald、C++、C#、VB.NET、Python等，常规程序化编程语言如C语言、Visual Basic、Fortran 2003、Perl、COBOL 2002、PHP、ABAP，动态编程语言如Python、Ruby和Groovy，或其他编程语言等。该程序编码可以完全在用户计算机上运行、或作为独立的软件包在用户计算机上运行、或部分在用户计算机上运行部分在远程计算机运行、或完全在远程计算机或服务器上运行。在后种情况下，远程计算机可以通过任何网络形式与用户计算机连接，比如局域网(LAN)或广域网(WAN)，或连接至外部计算机(例如通过因特网)，或在云计算环境中，或作为服务使用如软件即服务(SaaS)。

此外，除非权利要求中明确说明，本申请所述处理元素和序列的顺序、数字字母的使用、或其他名称的使用，并非用于限定本申请流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例，但应当理解的是，该类细节仅起到说明的目的，附加的权利要求并不仅限于披露的实施例，相反，权利要求旨在覆盖所有符合本申请实施例实质和范围的修正和等价组合。例如，虽然以上所描述的系统组件可以通过硬件设备实现，但是也可以只通过软件的解决方案得以实现，如在现有的服务器或移动设备上安装所描述的系统。

同理，应当注意的是，为了简化本申请披露的表述，从而帮助对一个或多个发明实施例的理解，前文对本申请实施例的描述中，有时会将多种特征归并至一个实施例、附图或对其的描述中。但是，这种披露方法并不意味着本申请对象所需要的特征比权利要求中提及的特征多。实际上，实施例的特征要少于上述披露的单个实施例的全部特征。

Claims (22)

1.一种策略执行的测试跟踪方法，所述方法包括：

通过网络获取第一用户群体的相关信息，并确定用于测试的第二用户群体；

根据第一预设条件和第一分配算法对所述第二用户群体进行分组，对应的第一分组类别至少包括第一实验组和第一对照组；

通过网络控制所述第一实验组和所述第一对照组中用户群体的用户终端分别执行第一策略和第一对照策略；

通过网络监测所述第一策略和所述第一对照策略执行后对应的第一策略结果参数和第一对照策略结果参数；

根据第二预设条件和第二分配算法对所述第二用户群体的至少部分进行分组，对应的第二分组类别至少包括第二实验组和第二对照组；

通过网络控制所述第二实验组和所述第二对照组中用户群体的用户终端分别执行第二策略和第二对照策略；

通过网络监测所述第二策略和所述第二对照策略执行后对应的第二策略结果参数和第二对照策略结果参数；

比较所述第一策略结果参数和所述第一对照策略结果参数得到第一比较结果，基于所述第一比较结果判断所述第一策略的有效性；

比较所述第二策略结果参数和所述第二对照策略结果参数得到第二比较结果，基于所述第二比较结果判断第二策略的有效性。

2.根据权利要求1所述的方法，其特征在于，所述通过网络获取第一用户群体的相关信息，并确定用于测试的第二用户群体还包括：

根据第三预设条件对所述第一用户群体进行筛选，确定所述第二用户群体。

3.根据权利要求1所述的方法，其特征在于，所述第一用户群体的相关信息至少包括用户群体的位置信息；

所述通过网络获取第一用户群体的相关信息包括：

通过网络获取第一用户群体对应的用户终端的GPS信号，所述GPS信号能够反映所述位置信息。

4.根据权利要求1所述的方法，其特征在于，所述第一用户群体的相关信息包括用户群体的喜好信息和/或位置信息；所述第一分配算法和/或所述第二分配算法中的分配标准参数至少包括所述用户群体的喜好信息和/或位置信息。

5.根据权利要求1所述的方法，其特征在于，所述策略包括以下一种或者多种的组合：前端界面展示策略、前端界面的数据调用策略、后台模型相关策略以及后台数据相关策略；其中，所述策略至少包括所述第一策略和所述第二策略。

6.根据权利要求1所述的方法，其特征在于，所述策略结果参数包括对应网络数据的点击量、订单量、转化率、浏览时间以及等待时间中的至少一个；其中，所述策略结果参数至少包括所述第一策略结果参数和所述第二策略结果参数。

7.根据权利要求5所述的方法，其特征在于，所述前端界面包括加油应用界面，所述策略包括与加油站的地址选择或相关信息展示顺序；对应的策略结果参数包括点击量、订单量以及浏览时间中的至少一个。

8.根据权利要求5所述的方法，其特征在于，所述前端界面包括资源投放应用界面，所述策略包括与资源显示的内容或形式相关的页面设计或与所述页面设计相关的后台算法的调整；对应的策略结果参数包括点击量和/或转化率。

9.根据权利要求5所述的方法，其特征在于，所述后台数据包括订单派发相关的算法数据，所述策略包括订单派发算法中相关参数的调整；对应的策略结果参数包括等待时间。

10.根据权利要求1所述的方法，其特征在于，所述第一分组类别还包括第一验证组；第二分组类别还包括第二验证组；所述方法还包括：

通过网络控制所述第一验证组中用户群体的用户终端执行所述第一对照策略；

通过网络监测所述第一验证组的用户群体在用户终端上执行第一对照策略后的第一验证策略结果参数；

通过网络控制所述第二验证组中用户群体的用户终端执行所述第二对照策略；

通过网络监测所述第二验证组的用户群体在用户终端上执行第二对照策略后的第二验证策略结果参数；

比较所述第一验证策略结果参数与所述第一对照策略结果参数，判断所述第一比较结果的置信度；

比较所述第二验证策略结果参数与所述第二对照策略结果参数，判断所述第二比较结果的置信度。

11.一种策略执行的测试跟踪系统，其特征在于，所述系统包括：

用户信息获取模块，用于通过网络获取第一用户群体的相关信息，并确定用于测试的第二用户群体；

第一分组模块，用于根据第一预设条件和第一分配算法对所述第二用户群体进行分组，对应的第一分组类别至少包括第一实验组和第一对照组；

第一策略执行模块，用于通过网络控制所述第一实验组和所述第一对照组中用户群体的用户终端分别执行第一策略和第一对照策略；

第一监测模块，用于通过网络监测所述第一策略和所述第一对照策略执行后对应的第一策略结果参数和第一对照策略结果参数；

第二分组模块，用于根据第二预设条件和第二分配算法对所述第二用户群体的至少部分进行分组，对应的第二分组类别至少包括第二实验组和第二对照组；

第二策略执行模块，用于通过网络控制所述第二实验组和所述第二对照组中用户群体的用户终端分别执行第二策略和第二对照策略；

第二监测模块，用于通过网络监测所述第二策略和所述第二对照策略执行后对应的第二策略结果参数和第二对照策略结果参数；

第一结果比较模块，用于比较所述第一策略结果参数和所述第一对照策略结果参数得到第一比较结果，基于所述第一比较结果判断所述第一策略的有效性；

第二结果比较模块，用于比较所述第二策略结果参数和所述第二对照策略结果参数得到第二比较结果，基于所述第二比较结果判断第二策略的有效性。

12.根据权利要求11所述的系统，其特征在于，所述系统还包括：

用户群体筛选模块，用于根据第三预设条件对所述第一用户群体进行筛选，确定所述第二用户群体。

13.根据权利要求11所述的系统，其特征在于，所述第一用户群体的相关信息至少包括用户群体的位置信息；

所述用户信息获取模块，还用于通过网络获取第一用户群体对应的用户终端的GPS信号，所述GPS信号能够反映所述位置信息。

14.根据权利要求11所述的系统，其特征在于，所述第一用户群体的相关信息包括用户群体的喜好信息和/或位置信息；所述第一分配算法和/或所述第二分配算法中的分配标准参数至少包括所述用户群体的喜好信息和/或位置信息。

15.根据权利要求11所述的系统，其特征在于，所述策略包括以下一种或者多种的组合：前端界面展示策略、前端界面的数据调用策略、后台模型相关策略以及后台数据相关策略；其中，所述策略至少包括所述第一策略和所述第二策略。

16.根据权利要求11所述的系统，其特征在于，所述策略结果参数包括对应网络数据的点击量、订单量、转化率、浏览时间以及等待时间中的至少一个；其中，所述策略结果参数至少包括所述第一策略结果参数和所述第二策略结果参数。

17.根据权利要求15所述的系统，其特征在于，所述前端界面包括加油应用界面，所述策略包括与加油站的地址选择或相关信息展示顺序；对应的策略结果参数包括点击量、订单量以及浏览时间中的至少一个。

18.根据权利要求15所述的系统，其特征在于，所述前端界面包括资源投放应用界面，所述策略包括与资源显示的内容或形式相关的页面设计或与所述页面设计相关的后台算法的调整；对应的策略结果参数包括点击量和/或转化率。

19.根据权利要求15所述的系统，其特征在于，所述后台数据包括订单派发相关的算法数据，所述策略包括订单派发算法中相关参数的调整；对应的策略结果参数包括等待时间。

20.根据权利要求11所述的系统，其特征在于，所述第一分组类别还包括第一验证组；第二分组类别还包括第二验证组；

所述第一策略执行模块，还用于通过网络控制所述第一验证组中用户群体的用户终端执行所述第一对照策略；所述第一监测模块，还用于通过网络监测所述第一验证组的用户群体在用户终端上执行第一对照策略后的第一验证策略结果参数；

所述第二策略执行模块，还用于通过网络控制所述第二验证组中用户群体的用户终端执行所述第二对照策略；

所述第二监测模块，还用于通过网络监测所述第二验证组的用户群体在用户终端上执行第二对照策略后的第二验证策略结果参数；

所述第一比较模块，还用于比较所述第一验证策略结果参数与所述第一对照策略结果参数，判断所述第一比较结果的置信度；

所述第二比较模块，还用于比较所述第二验证策略结果参数与所述第二对照策略结果参数，判断所述第二比较结果的置信度。

21.一种策略执行的测试跟踪的装置，包括处理器，其特征在于，所述处理器用于执行权利要求1～10中任一项所述的策略执行的测试跟踪方法。

22.一种计算机可读存储介质，所述存储介质存储计算机指令，当计算机读取存储介质中的计算机指令后，计算机执行如权利要求1～10任一项所述的策略执行的测试跟踪方法。

Images