CN115759263A - 一种基于因果推断的策略效果评估方法及装置 - Google Patents

Abstract

本发明公开一种基于因果推断的策略效果评估方法及装置，涉及数据处理技术领域，现有技术存在未根据信贷业务特点选择合适的算法将后验推断问题转化为优化问题进行求解的问题；本发明观察实验组产品数据的同时找出与实验组产品拟合度最高的产品采集处理数据拟合出对照组数据，实验组产品上线策略而对照组产品不上线策略，然后再对二者的数据进行采集处理分析，分析策略上线与否对业务产品本身有何作用；本发明拟合时间序列数据过程中将合成控制法、贝叶斯结构时间序列模型及状态空间模型结合使用，考量了符合实际信贷业务的自相关及周期性等因素，自适应地基于数量级采用基于变分推断或哈密尔顿蒙特卡洛方法，将后验推断问题转化为优化问题。

Description

一种基于因果推断的策略效果评估方法及装置

技术领域

本发明涉及数据处理技术领域，具体涉及一种基于因果推断的策略效果评估方法及装置。

背景技术

现有策略效果评估方法如下：

(1)基于时间序列的显著性评估方法:在信贷全生命周期的各节点进行流程或策略变更时，运用时间序列分析方法，以流程或策略上线时点作为观察区分时间，对比上线前、后的各维度指标数据进行分析进而得出新老版本的效果差异；

(2)A/B测试方法:在流程或策略上制作两个(A/B)或多个(A/B/n)版本，在同一时间维度，分别随机让在各维度分布近似一致的客群的采用不同版本，统计各群组的业务指标数据，最后通过数据分析方法评估出最好的版本，进而正式采用；

(3)基于因果推断的因果效应计算：从策略或流程改变前后的观察性数据中，去发现因果关系、测算因果效应，用于互联网运营场景。

现有技术方案的缺陷：

1、银行信贷领域的时间序列数据一般都会产生自回归分量及周期性，但现有因果推断未涉及到银行信贷领域，其目前应用主要都是基于假设各时间点独立同分布的时间序列数据；

2、未根据信贷业务特点选择合适的算法将后验推断问题转化为优化问题进行求解。

发明内容

为了解决上述现有技术中存在的问题，本发明拟提供了一种基于因果推断的策略效果评估方法及装置，拟解决现有策略效果评估方法无法很好预估银行信贷领域的策略或流程上线效果。

一种基于因果推断的策略效果评估方法，包括如下步骤：

步骤1：选取需测试策略上线效果的业务产品X，选取与业务产品X各维度及趋势性相似度最高的多个业务产品Y、Z，对X、Y、Z业务产品的多维度指标的时间序列数据进行处理获取多维度实验组未操作时间序列数据Real_A_pre并拟合出多维度对照组未操作时间序列数据Pseudo_A_pre，两组数据对比检验拟合数据Pseudo_A_pre的拟合效果，依据拟合效果选择拟合方法；

步骤2：对策略上线后的业务产品X的时间序列数据进行数据收集及处理，得到多维度实验组已操作时间序列数据Real_A_post；

步骤3：对未上线策略的业务产品Y、Z的时间序列数据同步骤1的拟合方法拟合得到多维度对照组已操作时间序列数据Pseudo_A_post；

步骤4：对Real_A_post和Pseudo_A_post进行数据处理计算，得到策略上线后的因果效果测算。

优选的，在步骤1中，所述选取与业务产品X各维度及趋势性相似度最高的多个业务产品Y、Z的选取过程如下：

a、对上线前的各业务产品多维度指标的时间序列数据分别进行自相关及ADF方法下的假设检验，得到各业务产品各维度的自相关性及平稳性验证；

b、对上线前的各业务产品多维度指标的时间序列数据进行相关性计算，得到在同维度指标下不同业务产品时间序列的相关性；

c、对前两步的数据结果进行数据分析及处理，得到在同维度指标下不同业务产品的时间序列数据的相似度数据，然后依据相似度选取。

优选的，在步骤1中

对X、Y、Z业务产品的多维度指标的时间序列数据进行处理的处理过程如下：

获取产品X、Y、Z的时间序列Real_A_pre、Real_B_pre、Real_C_pre，其中Real_A_pre作为多维度实验组未操作时间序列数据并结合产品Y、Z的时间序列Real_B_pre、Real_C_pre进行类似集成学习的方法拟合出多维度对照组未操作时间序列数据Pseudo_A_pre，判断拟合效果再决定拟合方法；所述拟合方法包括合成控制法、时间序列模型及状态空间模型。

所述拟合效果判断依据如下：

假设检验：(1)Real值始终处于Pseudo值的95％置信区间内；(2)Real和Pseudo的差值始终包括0值；以上即有95％的样本均值会落在2个标准误差范围内，如果满足即接受此拟合方法，如果有多种拟合方法再根据MSE(均方误差)测算后选择误差最小的拟合方法，据此优选的拟合方法为合成控制法加贝叶斯结构化时间序列模型。

优选的，步骤3中采集未上线策略或流程的业务产品Y、Z的时间序列数据Real_B_post、Real_C_post，将Y、Z的时间序列数据Real_B_post、Real_C_post进行同步骤1的拟合方法拟合得到标准化结构的多维度对照组已操作时间序列数据Psuedo_A_post。

优选的，在所述步骤4中，包括以下步骤：

步骤4.1：对上线策略或流程后的业务产品X的Real_A_post进行基于拟合对照组Psuedo_A_post的基于TensorFlow环境的处理，将策略或流程上线这一因素对产品X影响的后验推断问题转化为优化问题进行求解；所述优化问题进行在约束性条件下并设定先验标准差及颗粒度，得到带约束条件的优化问题；

步骤4.2：对步骤4.1中带约束条件的优化问题进行在基于Horseshoe prior的贝叶斯回归、稀疏线性回归，得到约束条件下的优化问题的协变量回归系数及权重；

步骤4.3：对上述带约束条件的优化问题进行求解并回推为后验推断问题求解结果，得到策略或流程上线这一因素对产品X影响的量化的因果效应值。

优选的，在步骤4.1中，所述处理过程中有变分推断及哈密尔顿蒙特卡洛方法两种可选算法，两种算法的选择根据数据量级筛选，自适应采取是更适用于大规模数量级下有更好收敛性及可扩展性的情况采用变分推断算法，还是小规模数量级下采用更优精度的哈密尔顿蒙特卡洛方法；

优选的，步骤4.1中，所述颗粒度可基于现有时间序列数据的颗粒度，进行放大化的测算。

优选的，采集产品X、Y、Z时间序列数据的过程中选取的时间段是相同的。

一种基于因果推断的策略效果评估装置，包括数据存储模块、数据处理模块、模型预测模块、模型验证模块、模型展示模块；其中数据存储模块用于收集各产品的时间序列数据；数据处理模块用于对数据存储模块中的数据进行预处理、周期性分析、平稳、相关性分析找出与待检验产品最相似的产品；模型预测模块利用合成控制法、贝叶斯结构化时间序列对最相似产品的时间序列数据进行拟合使之可仿真出待检验产品在上线策略的时间点若未上线策略的时间序列数据，再利用变分推断或者哈密尔顿蒙特卡洛对上线策略后的实际时间序列数据和拟合的时间序列数据进行因果推断得到反事实推理；模型验证模块进行假设检验；数据展示模块用于展示因果推断结果值及相关分析。

本发明的有益效果包括：

本发明拟合时间序列数据过程中将合成控制法、贝叶斯结构时间序列模型及状态空间模型结合使用，考量了符合实际信贷业务的自相关及周期性等因素，自适应地基于数量级采用基于变分推断或哈密尔顿蒙特卡洛方法，将后验推断问题转化为优化问题。

本发明克服了前述的现有技术中存在的如下问题：(1)时间序列数据一般都会产生自回归分量及周期性，但现有因果推断未涉及到银行信贷领域，其目前应用主要都是基于假设各时间点独立同分布；(2)未根据信贷业务特点选择合适的算法将后验推断问题转化为优化问题进行求解，提供一种新的基于因果推断的策略效果评估方法和装置。

除此之外，本发明所需的硬件环境条件更加宽松，可根据数据量级在TensorFlow环境下采用合适的算法，且数据存储模块、数据处理模块均已封装，可按需进行调用及拆分优化，调高复用性及可扩展性。

附图说明

图1为实施例1一种基于因果推断的策略效果评估方法流程图。

图2为实施例1一种基于因果推断的策略效果评估装置结构示意图。

图3为实施例2涉及的因果推断结果图。

图4为实施例2输出的因果效应结果值。

图5为实施例2自动化输出报告。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

实施例1

下面结合附图1对本发明的具体实施例做详细的说明；

一种基于因果推断的策略效果评估方法，包括如下步骤：

步骤1：选取需测试策略上线效果的业务产品X，选取与业务产品X各维度及趋势性相似度最高的多个业务产品Y、Z，具体选择过程如下：

1、对上线前的各业务产品多维度指标的时间序列数据分别进行自相关及ADF方法下的假设检验，得到各业务产品各维度的自相关性及平稳性验证；

2、对上线前的各业务产品多维度指标的时间序列数据进行相关性计算，得到在同维度指标下不同业务产品时间序列的相关性；

3、对前述两步所得到的数据结果进行数据分析及处理，得到在同维度指标下不同业务产品的时间序列数据的相似度数据，然后依据相似度选取。

接下来获取产品X的时间序列Real_A_pre作为多维度实验组未操作时间序列数据，再获取产品Y、Z的时间序列Real_B_pre、Real_C_pre，结合Real_A_pre进行类似集成学习的方法包括合成控制法、时间序列模型及状态空间模型，拟合出多维度对照组未操作时间序列数据Pseudo_A_pre，对拟合效果进行如下判断再选择拟合方法；

假设检验：(1)Real值始终处于Pseudo值的95％置信区间内；(2)Real和Pseudo的差值始终包括0值；以上即有95％的样本均值会落在2个标准误差范围内，如果满足即接受此拟合方法，然后如果有多种拟合方法再根据MSE(均方误差)测算后选择误差最小的拟合方法；

本实施例选择误差最小的合成控制法加贝叶斯结构化时间序列模型作为拟合方法。

步骤2：然后采集策略上线后的业务产品X的时间序列数据并处理，得到多维度实验组已操作时间序列数据Real_A_post；

步骤3：采集与步骤2同时间段未上线策略的业务产品Y、Z的时间序列数据Real_B_post、Real_C_post利用同步骤1的拟合方法拟合得到标准化结构的多维度对照组已操作时间序列数据Psuedo_A_post；

步骤4：对前述所得的实验组已操作多维度时间序列数据Real_A_post和对照组已操作多维度时间序列数据Pseudo_A_post进行数据处理计算，得到策略上线后的因果效果测算，具体包括以下步骤：

对上线策略的业务产品X的Real_A_post进行基于拟合对照组Psuedo_B_post的基于TensorFlow环境的处理，处理过程采取适用于大规模数量级下有更好收敛性及可扩展性的变分推断算法将策略上线这一因素对产品X影响的后验推断问题转化为优化问题进行求解，其中优化问题进行在约束性条件下并设定先验标准差及颗粒度，其中颗粒度设定为日，得到带约束条件的优化问题。

对所得带约束条件的优化问题进行基于Horseshoe prior的贝叶斯回归、稀疏线性回归，得到约束条件下的优化问题的协变量回归系数及权重；

对上述带约束条件的优化问题进行求解并回推为后验推断问题求解结果，得到策略上线这一因素对产品X影响的量化的因果效应值。

实施例2

参照附2，一种基于因果推断的策略效果评估装置，应理解，该系统与上述附图1方法实施例对应，能够执行附图1方法实施例涉及的各个步骤，该系统具体的功能可以参见上文中的描述，为避免重复，此处适当省略详细描述。如附图2所示该系统包括数据存储模块、数据处理模块、模型预测模块、模型验证模块、数据展示模块，其中数据存储模块用于收集存储产品的时间序列数据，数据处理模块对产品的时间序列数据进行预处理，计算各业务产品各维度的自相关性及平稳性验证；对上线前的各业务产品多维度指标的时间序列数据进行相关性计算，得到在同维度指标下不同业务产品时间序列的相关性；最终计算出同维度指标下不同业务产品的时间序列数据的相似度，根据相似度选取与待检验产品X相似度最高的产品Y、Z，将Y、Z的时间序列数据传输到模型预测模块，模型预测模块利用合成控制法、贝叶斯结构化时间序列对最相似产品的时间序列数据进行拟合使之可仿真出待检验产品在上线策略的时间点若未上线策略的时间序列数据，再利用变分推断或者哈密尔顿蒙特卡洛对上线策略后的实际时间序列数据和拟合的时间序列数据进行因果推断得到反事实推理；之后利用模型验证模块进行假设检验在得出因果效应值同时做假设检验证明这个值在统计学上是否显著；最后由数据展示模块展示因果推断结果图及相应数据分析图并针对两个图自动生成解读分析报告。

其中所述因果推断结果图参考图3：图中3部分均为时间序列数据结果，竖直虚线为策略上线时间点；

(1)其中第1部分实线y代表产品X在策略上线前后的真实数据即实验组；虚线为拟合的仿真产品X即对照组，上下限范围为拟合的95％置信区间范围；

(2)第2部分为第1部分的实线减去虚线后的差值；代表变动情况。主要为观察在策略上线后其实验组和拟合的仿真对照组差值始终落在95％置信区间内且差值围绕0点附近波动且涵盖0值；而策略上线后的差值及实验组和拟合对照组受策略影响后的差值；

(3)第3部分为按时间递延，整体策略产生的因果效果累加值情况；

其中所述输出的因果效应结果值参考附图4

(1)同样的第1行数据对应附图3第1部分，actual为真实产品的数据值(实验组)，prediction为拟合的仿真值(拟合的对照组)及其95％置信区间范围，average为上线后的每个时间粒度的平均值，cumulative为上线后截止观察时点的累加值；

(2)第2行对应附图3第2部分，为实验组真实值与对照组的差值；

(3)第3行为(2)的差值与拟合值(对照组)的相对效应，即策略提升量化百分比；

(4)最后两行为以上数据基于统计学假设检验后的p值及最终因果推断出的策略影响概率，一般认为p值小于0.05即为策略的因果影响呈现显著性。

其中所述解读分析报告参考附图5，即为上面的因果推断结果图和因果效应结果值的解读分析报告。

以上所述实施例仅表达了本申请的具体实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请保护范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请技术方案构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。

Claims (9)

1.一种基于因果推断的策略效果评估方法，其特征在于，包括如下步骤：

步骤1：选取需测试策略上线效果的业务产品X，选取与业务产品X各维度及趋势性相似度最高的多个业务产品Y、Z，对X、Y、Z业务产品的多维度指标的时间序列数据进行处理获取多维度实验组未操作时间序列数据Real_A_pre并拟合出多维度对照组未操作时间序列数据Pseudo_A_pre，两组数据对比检验拟合数据Pseudo_A_pre的拟合效果，依据拟合效果选择拟合方法；

步骤2：对策略上线后的业务产品X的时间序列数据进行数据收集及处理，得到多维度实验组已操作时间序列数据Real_A_post；

步骤3：对未上线策略的业务产品Y、Z的时间序列数据同步骤1的拟合方法拟合得到多维度对照组已操作时间序列数据Pseudo_A_post；

步骤4：对Real_A_post和Pseudo_A_post进行数据处理计算，得到策略上线后的因果效果测算。

2.根据权利要求1所述的一种基于因果推断的策略效果评估方法，其特征在于，在步骤1中，所述选取与业务产品X各维度及趋势性相似度最高的多个业务产品Y、Z的选取过程如下：

a、对上线前的各业务产品多维度指标的时间序列数据分别进行自相关及ADF方法下的假设检验，得到各业务产品各维度的自相关性及平稳性验证；

b、对上线前的各业务产品多维度指标的时间序列数据进行相关性计算，得到在同维度指标下不同业务产品时间序列的相关性；

c、对前两步的数据结果进行数据分析及处理，得到在同维度指标下不同业务产品的时间序列数据的相似度数据，然后依据相似度选取。

3.根据权利要求1所述的一种基于因果推断的策略效果评估方法，其特征在于，在步骤1中，所述对X、Y、Z业务产品的多维度指标的时间序列数据进行处理的过程如下：

获取产品X、Y、Z的时间序列Real_A_pre、Real_B_pre、Real_C_pre，其中Real_A_pre作为多维度实验组未操作时间序列数据并结合产品Y、Z的时间序列Real_B_pre、Real_C_pre进行类似集成学习的方法拟合出多维度对照组未操作时间序列数据Pseudo_A_pre，所述方法包括合成控制法、时间序列模型及状态空间模型；

所述拟合效果判断依据如下：

假设检验：(1)Real值始终处于Pseudo值的95％置信区间内；(2)Real和Pseudo的差值始终包括0值；以上即有95％的样本均值会落在2个标准误差范围内，如果满足即接受此拟合方法，如果有多种拟合方法再根据MSE测算后选择误差最小的拟合方法。

4.根据权利要求3所述的一种基于因果推断的策略效果评估方法，其特征在于，步骤3中采集未上线策略或流程的业务产品Y、Z的时间序列数据Real_B_post、Real_C_post，将Y、Z的时间序列数据Real_B_post、Real_C_post进行同步骤1的拟合方法拟合得到标准化结构的多维度对照组已操作时间序列数据Psuedo_A_post。

5.根据权利要求1-3任一项所述的一种基于因果推断的策略效果评估方法，其特征在于，在所述步骤4中，包括以下步骤：

步骤4.1：对上线策略或流程后的业务产品X的Real_A_post进行基于拟合对照组Psuedo_A_post的基于TensorFlow环境的处理，将策略或流程上线这一因素对产品X影响的后验推断问题转化为优化问题进行求解；所述优化问题进行在约束性条件下并设定先验标准差及颗粒度，得到带约束条件的优化问题；

步骤4.2：对步骤4.1中带约束条件的优化问题进行在基于Horseshoe prior的贝叶斯回归、稀疏线性回归，得到约束条件下的优化问题的协变量回归系数及权重；

步骤4.3：对上述带约束条件的优化问题进行求解并回推为后验推断问题求解结果，得到策略或流程上线这一因素对产品X影响的量化的因果效应值。

6.根据权利要求5所述的一种基于因果推断的策略效果评估方法，其特征在于，在步骤4.1中，所述处理过程中有变分推断及哈密尔顿蒙特卡洛方法两种可选算法，两种算法的选择根据数据量级筛选，自适应采取是更适用于大规模数量级下有更好收敛性及可扩展性的情况采用变分推断算法，还是小规模数量级下采用更优精度的哈密尔顿蒙特卡洛方法。

7.根据权利要求5所述的一种基于因果推断的策略效果评估方法，其特征在于，步骤4.1中，所述颗粒度可基于现有时间序列数据的颗粒度，进行放大化的测算。

8.根据权利要求1所述的一种基于因果推断的策略效果评估方法，其特征在于，采集产品X、Y、Z时间序列数据的过程中选取的时间段是相同的。

9.一种基于因果推断的策略效果评估装置，其特征在于，包括数据存储模块、数据处理模块、模型预测模块、模型验证模块、模型展示模块；其中数据存储模块用于收集各产品的时间序列数据；数据处理模块用于对数据存储模块中的数据进行预处理、周期性分析、平稳、相关性分析找出与待检验产品最相似的产品；模型预测模块利用合成控制法、贝叶斯结构化时间序列对最相似产品的时间序列数据进行拟合使之可仿真出待检验产品在上线策略的时间点若未上线策略的时间序列数据，再利用变分推断或者哈密尔顿蒙特卡洛对上线策略后的实际时间序列数据和拟合的时间序列数据进行因果推断得到反事实推理；模型验证模块进行假设检验；数据展示模块用于展示因果推断结果值及相关分析。

Images