CN112784986A - 深度学习计算结果的特征解释方法、装置、设备及介质 - Google Patents

Abstract

本发明实施例提供了一种深度学习计算结果的特征解释方法、装置、设备及介质，可用于人工智能领域或其他领域，其中，该方法包括：将预设样本数据集输入原始模型输出第一预测值，计算第一预测值的平均值；将预设数据集输入SHAP中解释原始模型的解释模型输出第二预测值，第一预测值等于第二预测值；针对预设样本数据集中的每个样本，计算该样本中每个特征的平均边际贡献，该样本中各个特征的平均边际贡献之和加上第一预测值的平均值得到的和等于该样本对应的第一预测值，平均边际贡献的大小表示每个样本中每个特征对原始模型计算结果的重要程度。该方案可以通过平均边际贡献的形式来量化、可视化地解释个体特征对计算结果的重要程度、影响程度。

Description

深度学习计算结果的特征解释方法、装置、设备及介质

技术领域

本发明涉及人工智能技术领域，特别涉及一种深度学习计算结果的特征解释方法、装置、设备及介质，需要说明的是，本申请公开的深度学习计算结果的特征解释方法和装置可用于人工智能领域，也可用于除人工智能领域之外的任意领域，本申请公开的深度学习计算结果的特征解释方法和装置的应用领域不做限定。

背景技术

从自动化到增强现实，人工智能(AI)已在悄然改变商业运作的模式，部分公司也已经进入了自动化时代。人工智能逐渐取代人类过去的工作，例如，欺诈检测、简历审查和贷款申请等。机器人减轻了员工的负担，让他们可以从事更高级别的工作。最近普华永道发布的《全球CEO调研》中，发现高管们非常关注人工智能的风险和机遇。其中85％的CEO认为人工智能将在未来五年内显著改变他们的商业模式，近三分之二的CEO则认为人工智能的影响将会远远超过互联网变革。不过关于人工智能的可信度究竟有多少，大家都没有明确表态。另外，超过四分之三的CEO认为人工智能“有益于社会”，可是更多受访者(84％)认为，人工智能做出的决策要有理有据才可信。无法解释人工智能的决策，不仅会让终端用户或客户失望，还会让组织面临运营、声誉和财务风险。要想让人们信任人工智能系统，就有必要让人们能“深入了解”它们的基本模型，研究人工智能所用到的数据，揭示每个决策背后的推理过程，并及时向所有利益相关者提供一致解释。因此需要设计一种描述人工智能思考过程的评价方式，以实现人工智能学习过程的透明性，为实现人工智能结果可解释性，可追责，遵循道德法规奠定基础。

发明内容

本发明实施例提供了一种深度学习计算结果的特征解释方法，以解决现有技术中无法实现人工智能计算结果可解释性的技术问题。该方法包括：

将预设样本数据集输入原始模型，所述原始模型输出第一预测值，计算所述第一预测值的平均值；

将所述预设数据集输入SHAP(合作博弈论)中解释所述原始模型的解释模型，所述解释模型输出第二预测值，其中，所述第一预测值等于所述第二预测值；

针对所述预设样本数据集中的每个样本，计算该样本中每个特征的平均边际贡献，该样本中各个特征的平均边际贡献之和加上所述第一预测值的平均值得到的和等于该样本对应的第一预测值，其中，所述平均边际贡献的大小表示每个样本中每个特征对所述原始模型输出的计算结果的重要程度。

本发明实施例还提供了一种深度学习计算结果的特征解释装置，以解决现有技术中无法实现人工智能计算结果可解释性的技术问题。该装置包括：

原始模型计算模块，用于将预设样本数据集输入原始模型，所述原始模型输出第一预测值，计算所述第一预测值的平均值；

解释模型计算模块，用于将所述预设数据集输入SHAP中解释所述原始模型的解释模型，所述解释模型输出第二预测值，其中，所述第一预测值等于所述第二预测值；

特征解释模块，用于针对所述预设样本数据集中的每个样本，计算该样本中每个特征的平均边际贡献，该样本中各个特征的平均边际贡献之和加上所述第一预测值的平均值得到的和等于该样本对应的第一预测值，其中，所述平均边际贡献的大小表示每个样本中每个特征对所述原始模型输出的计算结果的重要程度。

本发明实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任意的深度学习计算结果的特征解释方法，以解决现有技术中无法实现人工智能计算结果可解释性的技术问题。

本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述任意的人工智能计算结果的特征解释方法的计算机程序，以解决现有技术中无法实现深度学习计算结果可解释性的技术问题。

在本发明实施例中，提出了计算样本中每个特征的平均边际贡献，进而基于博弈论原理，实现样本中各个特征的平均边际贡献之和加上预设样本数据集中各个样本的第一预测值的平均值得到的和等于该样本对应的第一预测值，该样本对应的第一预测值即与该样本对应的第二预测值相等，即实现了可计算出满足唯一性的每个特征的平均边际贡献；此外，该每个特征的平均边际贡献的大小表示每个样本中每个特征对原始模型输出的计算结果的重要程度，实现了可以通过平均边际贡献的形式来量化、可视化地解释个体特征对计算结果的重要程度、影响程度，进而为实现人工智能计算结果的可解释性、可追责、遵循道德法规等需求奠定基础。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，并不构成对本发明的限定。在附图中：

图1是本发明实施例提供的一种深度学习计算结果的特征解释方法的流程图；

图2是本发明实施例提供的一种以客户营销案例为例说明个体特征解释的示意图；

图3是本发明实施例提供的一种以客户营销案例为例说明balance和duration两个特征交叉解释的示意图；

图4是本发明实施例提供的一种以客户营销案例为例说明balance和age两个特征交叉解释的示意图；

图5是本发明实施例提供的一种以客户营销案例为例说明age和education两个特征交叉解释的示意图；

图6是本发明实施例提供的一种特征的Logit值与预测值的正负关系示意图；

图7是本发明实施例提供的一种以客户营销案例为例说明个体特征balance如何影响计算结果的示意图；

图8是本发明实施例提供的一种以客户营销案例为例说明个体特征duration如何影响计算结果的示意图；

图9是本发明实施例提供的一种以客户营销案例为例说明个体特征age如何影响计算结果的示意图；

图10是本发明实施例提供的一种以客户营销案例为例说明个体特征day如何影响计算结果的示意图；

图11是本发明实施例提供的一种以客户营销案例为例说明个体特征month如何影响计算结果的示意图；

图12是本发明实施例提供的一种以客户营销案例为例说明个体特征job如何影响计算结果的示意图；

图13是本发明实施例提供的一种以客户营销案例为例说明个体特征education如何影响计算结果的示意图；

图14是本发明实施例提供的一种以某个客户样本的预测为例说明个体特征解释的示意图；

图15是本发明实施例提供的一种以某个客户样本的预测为例说明个体特征如何影响最终的预测结果的示意图；

图16是本发明实施例提供的一种计算机设备的结构框图；

图17是本发明实施例提供的一种深度学习计算结果的特征解释装置的结构框图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施方式和附图，对本发明做进一步详细说明。在此，本发明的示意性实施方式及其说明用于解释本发明，但并不作为对本发明的限定。

在本发明实施例中，提供了一种深度学习计算结果的特征解释方法，如图1所示，该方法包括：

步骤102：将预设样本数据集输入原始模型，所述原始模型输出第一预测值，计算所述第一预测值的平均值；

步骤104：将所述预设数据集输入SHAP中解释所述原始模型的解释模型，所述解释模型输出第二预测值，其中，所述第一预测值等于所述第二预测值；

步骤106：针对所述预设样本数据集中的每个样本，计算该样本中每个特征的平均边际贡献，该样本中各个特征的平均边际贡献之和加上所述第一预测值的平均值得到的和等于该样本对应的第一预测值，其中，所述平均边际贡献的大小表示每个样本中每个特征对所述原始模型输出的计算结果的重要程度(例如，平均边际贡献越大，该特征对原始模型输出的计算结果的重要程度越大；平均边际贡献越小，该特征对原始模型输出的计算结果的重要程度越小)。

由图1所示的流程可知，在本发明实施例中，提出了计算样本中每个特征的平均边际贡献，进而基于博弈论原理，实现样本中各个特征的平均边际贡献之和加上预设样本数据集中各个样本的第一预测值的平均值得到的和等于该样本对应的第一预测值，该样本对应的第一预测值即与该样本对应的第二预测值相等，即实现了可计算出满足唯一性的每个特征的平均边际贡献；此外，该每个特征的平均边际贡献的大小表示每个样本中每个特征对原始模型输出的计算结果的重要程度，实现了可以通过平均边际贡献的形式来量化、可视化地解释个体特征对计算结果的重要程度、影响程度，进而为实现人工智能计算结果的可解释性、可追责、遵循道德法规等需求奠定基础。

具体实施时，上述深度学习计算结果的特征解释方法提出了计算每个样本中每个特征的平均边际贡献，以平均边际贡献来计量每个特征对计算结果的重要性、贡献度，即运用了博弈论原理，将深度学习的原始模型中每个特征变量当成一个玩家，用样本数据集去训练原始模型得到预测结果，运算结果可以看成众多玩家合作完成一个项目的收益，通过评价每个玩家对运算结果的贡献度以实现每个特征对原始模型重要性的计量。为此引入Shapley Additive Explanation(简称为SHAP，合作博弈论)原理，对复杂机器学习模型进行解释，SHAP的核心是计算其中每个特征变量的Shapley Value。

具体的，当进行机器学习模型的SHAP事后解释时，需要明确标记。已知样本数据集(数据集设有M个特征变量，a个样本)、原始模型f以及原始模型f在样本数据集上的所有预测值f(x)。g是SHAP中用来解释原始模型f的解释模型。对机器学习模型计算shap value的过程如下：先用原始模型f对样本数据集进行预测，得到原始模型f输出的预测值(即上述第一预测值)的平均值；单个样本表示为x＝(x₁,x₂,…,x_M)，f(x)为样本数据集在原始模型下的预测值，g(x)是事后解释模型的预测值，满足：

其中，

代表第i个特征变量的shapley value(即平均边际贡献)，是SHAP中核心要计算的值，此时，平均边际贡献需要满足唯一性，对应的解释模型g也是独一无二的，即上述解释模型g需要满足如下性质：

性质1：局部保真性(local accuracy)

即两个模型得到的预测值相等。当输入单个样本x到解释模型g中时，得到的预测值

与原始模型得到的预测值f(x)相等。

性质2：缺失性(missingness)

如果在单个样本中存在缺失值，即某一特征变量下没有取值，对解释模型g没有影响，其shapley value为0。

性质3：连续性(consistency)

当原始模型f从随机森林变为XGBoost，如果一个特征变量对模型预测值的贡献增多，其shapley value也会随之增加。

具体实施时，一个特征的shapley value是该特征在所有的特征序列中的平均边际贡献，可以通过先计算一个特征加入到模型时的边际贡献，然后对该特征在所有的特征序列中的不同的边际贡献，取均值，即该均值为该一个特征的SHAP baseline value。为了实现量化、可视化地计量个体特征对深度学习计算结果的重要程度、影响性，在本实施例中，提出了具体计算个体特征的平均边际贡献的方式，例如，通过以下公式计算该样本中每个特征的平均边际贡献：

其中，

表示第i个特征的平均边际贡献；N表示该样本的全体特征集合；S表示N的一个排列子集；M表示该样本的特征的总数；f_x表示所述原始模型的函数；f_x(S∪{i})-f_x(S)表示将第i个特征添加到排列子集S时，边际贡献的增加量。

具体实施时，通过计算个体特征的平均边际贡献可实现个体特征的全局可解释性，解释出个体特征对全局特征的整体重要性，进而解释什么特征对模型预测的影响最大，例如，以精准客户营销的案例作为个体特征解释的计算案例，通过上述深度学习计算结果的特征解释方法我们计算得到的各个特征的平均边际贡献结果如图2所示，从图2可以看出，根据平均边际贡献的大小可以知晓，对模型计算结果影响最大的六个特征分别是：balance(每年账户平均余额)，duration(营销过程中的交流时长，min)，age(年龄)，day(营销时间，几号)，month(营销时间，几月)，job(工作类型)。

具体实施时，为了解释多个特征交叉共同对深度学习计算结果的影响性、重要性，在本实施例中还提出了计算每个样本中多个特征交叉的平均边际贡献，例如，通过以下公式计算该样本中多个特征交叉的平均边际贡献：

其中，

表示t个特征交叉的平均边际贡献；N表示该样本的全体特征集合；S表示N的一个排列子集；M表示特征的总数；n为N中的t个特征组成的特征集合，f_x表示所述原始模型的函数；

表示将n中的t个特征添加到排列子集S时，边际贡献的增加量。

具体的，例如，t取值为2，计算两个特征交叉的平均边际贡献为：

i≠j

其中，

表示将i、j两个特征添加到排列子集S时，边际贡献的增加量。

具体实施时，通过计算多个特征交叉的平均边际贡献可实现多个特征交叉的全局可解释性，解释出多个特征交叉对全局特征的整体重要性，进而解释多个特征的交叉作用如何影响模型的预测。例如，以图2所示的精准客户营销的案例作为多个特征交叉解释的计算案例，通过上述深度学习计算结果的特征解释方法我们可以计算得到特征重要性最大的三个特征balance、duration、age中两两特征之间交叉的平均边际贡献。

具体的，balance和duration交叉的平均边际贡献如图3所示，图3中X轴为特征balance的值，Y轴为一个客户样本的特征balance和duration对应的交叉平均边际贡献值，图3右侧为特征duration的值，duration的值从小到大变化，可见，排除所有其他特征的影响，描述balance和duration的关系，这批样本中duration的值(即与客户联系时间)大部分不超过400s，对于同一特征balance值(即有同样存款的客户)来说，duration的值越大对模型预测的影响越明显，balance值和duration值的增大二者的交叉平均边际贡献也增大，即balance值和duration值对交叉平均边际贡献起到正向作用，即增加营销过程中的联系时间可以增加对模型预测为正样本的作用。

具体的，balance和age交叉的平均边际贡献如图4所示，图4中X轴为特征balance的值，Y轴为一个客户样本的特征balance和age对应的交叉平均边际贡献值，图4右侧为特征age的值，age的值从小到大变化，可见，排除所有其他特征的影响，描述balance和age的关系，对于同一特征balance值(即有同样存款的客户)来说，age的值介于45到55之间age值越大对模型预测的影响越明显，balance值和age值对交叉平均边际贡献存在相关性。即对于有同样存款的客户来说，中年的客户对模型预测为正样本的作用更显著。

具体的，education和age交叉的平均边际贡献如图5所示，图5中X轴为特征age的值，Y轴为一个客户样本的特征education和age对应的交叉平均边际贡献值，图5右侧为特征education，education对应小学教育(primary)、中学教育(secondary)、大学教育(tertiary)，可见，排除所有其他特征的影响，描述education和age的关系，这批样本中大部分客户的age值都落在20-60的年龄且education是受过中学以上的教育，age值为20-25岁左右、education为受过中学教育对应的交叉平均边际贡献值较大，二者的交互作用对模型预测为正样本作用较大，这两个特征交互作用使得这些客户倾向于购买该产品；age值为30-60岁年龄与education的交叉平均边际贡献值不大，二者交互对模型预测影响不大。

具体实施时，为了统一每个特征信息在算法过程中出现值域偏差，需要引入Logit值对特征的重要性进行描述。例如，为了进一步解释个体特征对深度学习结果起到正影响还是负影响，在本实施例中，提出了根据每个样本中每个特征的平均边际贡献，计算每个特征的Logit值(即评定模型值)，该Logit值的变化趋势与每个特征对所述原始模型输出的计算结果所起影响的正负成正比，即Logit值增加表示特征对所述原始模型输出的计算结果的影响为正影响，Logit值减小表示特征对所述原始模型输出的计算结果的影响为负影响。

具体的，在统计学里，概率(Probability)和Odds都是用来描述某件事情发生的可能性的。概率描述的是某事件A出现的次数与所有结果出现的次数之比。概率是一个0到1之间的实数。与概率不同，Logit的一个很重要的特性就是没有上下限——这就给建模带来极大方便。概率和Logit值之间的关系是：

如图6所示，当概率p＞0.5时，模型预测为正，Logit值为正；当概率p≤0.5时，模型预测为负，Logit值为负。

可见，Logit值随着概率P的增大而增大，即提出了使用Logit值来替代概率进行分类概率的解释，进而通过每个特征的Logit值的变化趋势来解释每个特征对所述原始模型输出的计算结果所起影响的正负。具体的，可以将上述公式中的P替换为每个特征的平均边际贡献，进而来计算出每个特征的Logit值。

具体的，通过计算每个特征的Logit值可实现每个特征对计算结果所起正负影响的全局可解释性，进而从大量的样本整体来考虑，解释每一个特征如何影响模型的预测。例如，以图2所示的精准客户营销的案例作为多个特征交叉解释的计算案例，通过上述深度学习计算结果的特征解释方法我们可以分别计算得到特征重要性最大的六个特征和重要性相对不大的特征education的Logit值。

例如，balance的Logit值如图7所示，图7中横坐标代表特征balance的值，纵坐标是代表同一个balance值下面的Logit平均值。Logit平均值大于-7.534的部分代表将模型预测为正样本的概率推高(进而推向预测为1，正输出)，Logit平均值小于-7.534的部分代表将模型预测为正样本的概率推低(进而推向预测为0，负输出)。从图7可以看出：坐标原点为-7.534，即阳性类别的基本logit值为-7.534；当balance存款数目为负的时候，减小logit值，也就是使得模型预测为正类别的概率减小，即balance对模型预测起负影响，即特征balance趋势客户不购买该产品；当balance存款为正的时候，增加logit值，使得预测为正类别的概率增加，即balance对模型预测起正影响，即特征balance趋势客户购买该产品。当balance存款数目在32000附近和58000附近时候，能够最大程度地增加logit值，也就是预测最能驱动该客户购买该产品。

具体的，duration的Logit值如图8所示，图8中横坐标代表特征duration的值，纵坐标是代表同一个duration值下面的Logit平均值。Logit平均值大于-7.534的部分代表将模型预测为正样本的概率推高(正输出)，Logit平均值小于-7.534的部分代表将模型预测为正样本的概率推低(负输出)。从图8可以看出：当duration营销过程中的交流时长≤200min的时候，驱使减小logit值，驱使模型预测为负类别，即duration对模型预测起负影响作用；duration营销过程中的交流时长＞200min的时候，驱使增加logit值，驱使模型预测为正类别，即duration对模型预测起正影响作用。大致可以认为当营销过程中交流时长超过1200min之后，再增加营销交流时间对模型预测为正类别没有太大帮助。

具体的，age的Logit值如图9所示，图9中横坐标代表特征age的值，纵坐标是代表同一个age值下面的Logit平均值。Logit平均值大于-7.534的部分代表将模型预测为正样本的概率推高(正输出)，Logit平均值小于-7.534的部分代表将模型预测为正样本的概率推低(负输出)。从图9可以看出：当年龄落在35-60岁范围时，驱使减小logit值，驱使模型预测为负类别，即age对模型预测起负影响；落在35岁以前，60岁之后，驱使增加logit值，驱使模型预测为正类别，即age对模型预测起正影响。在20-30岁范围内，随着年龄的增加，驱动logit值增加的作用越来越小，在30岁附近几乎没有作用，在20岁附近作用最大。在60-80岁的范围内，驱动logit值增加的作用都比较大，其中在62，71，78附近作用最大。

具体的，day的Logit值如图10所示，图10中横坐标代表特征day的值，纵坐标是代表同一个day值下面的Logit平均值。Logit平均值大于-7.445的部分代表将模型预测为正样本的概率推高(正输出)，Logit平均值小于-7.445的部分代表将模型预测为正样本的概率推低(负输出)。从图10可以看出：在每个月五号之前、10-15号左右、25号进行营销，驱使增加logit值，驱使模型预测为正类别，即day对模型预测起正影响作用；其他时间进行营销，趋势减少logit值，趋势模型预测为负类别，即day对模型预测起负影响作用。在每个月五号之前营销，驱动logit值增加的作用越来越小，但是就整个月份来说，在月初营销，尤其在2-4号营销，day对预测结果器正向作用最大。

具体的，month的Logit值如图11所示，图11中横坐标代表特征month的值，纵坐标是代表同一个month值下面的Logit平均值。Logit平均值大于-7.491的部分代表将模型预测为正样本的概率推高(正输出)，Logit平均值小于-7.491的部分代表将模型预测为正样本的概率推低(负输出)。Month是类别数据，经过对类别数据进行预编码之后，Month对应的编码如下表1所示，从图11可以看出：编号4、5、6对应的Logit值不变，代表的一月、七月、六月对模型预测几乎没影响；编号8、9对应的Logit值减小，代表的五月、十一月对模型预测是负向影响；其他月份对应的Logit值增加，即对模型预测的影响是正向影响；编号7、11对应的Logit值最大，代表的三月、九月进行营销对模型预测为正类别影响最大，也就是最有可能使得客户购买该产品。

表1

Apr：：0	Feb：3	Jun：6	Nov：9
				Aug：：1	Jan：4	Mar：7	Oct：10
Dec：2	Jul：5	May：8	Sep：11

具体的，job的Logit值如图12所示，图12中横坐标代表特征job的值，纵坐标是代表同一个job值下面的Logit平均值。Logit平均值大于-7.445的部分代表将模型预测为正样本的概率推高(正输出)，Logit平均值小于-7.445的部分代表将模型预测为正样本的概率推低(负输出)。job是类别数据，经过对类别数据进行预编码之后，job对应的编码如下表2所示，从图12可以看出：编号4、5、6、7对应的Logit值不变，代表的management、retired、self-employed、unemployed对模型预测几乎没影响；编号1、2、3、10对应的Logit值减小，代表的blue-collar、entrepreneur、housemaid、unemployed对模型预测是负向影响；其他职业对应的Logit值增加，即对模型预测的影响是正向影响；编号0、9对应的Logit值最大，代表admin(管理人员)、Technician(技术员)职业类型对模型预测为正类别的影响最大，也就是最有可能使得客户购买该产品。

表2

具体的，education的Logit值如图13所示，图13中横坐标代表特征education的值，纵坐标是代表同一个education值下面的Logit平均值。Logit平均值大于-7.445的部分代表将模型预测为正样本的概率推高(正输出)，Logit平均值小于-7.445的部分代表将模型预测为正样本的概率推低(负输出)。education是类别数据，经过对类别数据进行预编码之后，education对应的编码如下表3所示，从图13可以看出：编号0、1对应的Logit减小，代表了primary(小学教育)、secondary(中学教育)对模型预测是负向影响；编号2对应的Logit增加，代表了tertiary(大学教育)对模型预测是正向影响。

表3

primary：0

secondary：1

tertiary：2

具体实施时，关于某一个客户样本的预测，通过上述深度学习计算结果的特征解释方法可以解释每一个特征是如何影响到最终的预测结果的。以下分析从测试集中随机抽取一个样本数据进行分析，图14所示为其中一个样本记录，其中，feature表示该样本记录包括的各个特征，feature_value表示各个特征的值，shap_value表示各个特征的平均边界贡献，如图15所示，通过

计算出该样本的预测值为-10.26，同时图15也通过区段的方式展示了该样本中各项特征的平均边界贡献的大小，进而通过平均边界贡献的大小凸显出在参与预测值运算时各项特征对预测值的影响情况，例如，区段越长，平均边界贡献越大，进而对预测值的影响也越大。

在本实施例中，提供了一种计算机设备，如图16所示，包括存储器1602、处理器1604及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任意的深度学习计算结果的特征解释方法。

具体的，该计算机设备可以是计算机终端、服务器或者类似的运算装置。

在本实施例中，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述任意的深度学习计算结果的特征解释方法的计算机程序。

具体的，计算机可读存储介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机可读存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读存储介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

基于同一发明构思，本发明实施例中还提供了一种深度学习计算结果的特征解释装置，如下面的实施例所述。由于深度学习计算结果的特征解释装置解决问题的原理与深度学习计算结果的特征解释方法相似，因此深度学习计算结果的特征解释装置的实施可以参见深度学习计算结果的特征解释方法的实施，重复之处不再赘述。以下所使用的，术语“单元”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

图17是本发明实施例的深度学习计算结果的特征解释装置的一种结构框图，如图17所示，还装置包括：

原始模型计算模块1702，用于将预设样本数据集输入原始模型，所述原始模型输出第一预测值，计算所述第一预测值的平均值；

解释模型计算模块1704，用于将所述预设数据集输入SHAP中解释所述原始模型的解释模型，所述解释模型输出第二预测值，其中，所述第一预测值等于所述第二预测值；

特征解释模块1706，用于针对所述预设样本数据集中的每个样本，计算该样本中每个特征的平均边际贡献，该样本中各个特征的平均边际贡献之和加上所述第一预测值的平均值得到的和等于该样本对应的第一预测值，其中，所述平均边际贡献的大小表示每个样本中每个特征对所述原始模型输出的计算结果的重要程度。

在一个实施例中，所述特征解释模块通过以下公式计算该样本中每个特征的平均边际贡献：

其中，

表示第i个特征的平均边际贡献；N表示该样本的全体特征集合；S表示N的一个排列子集；M表示该样本的特征的总数；f_x表示所述原始模型的函数；f_x(S∪{i})-f_x(S)表示将第i个特征添加到排列子集S时，边际贡献的增加量。

在一个实施例中，所述特征解释模块，还用于通过以下公式计算该样本中多个特征交叉的平均边际贡献：

其中，

表示t个特征交叉的平均边际贡献；N表示该样本的全体特征集合；S表示N的一个排列子集；M表示特征的总数；n为N中的t个特征组成的特征集合，f_x表示所述原始模型的函数；▽_n(S)表示将n中的t个特征添加到排列子集S时，边际贡献的增加量。

在一个实施例中，所述特征解释模块，还用于根据每个样本中每个特征的平均边际贡献，计算每个特征的Logit值，其中，Logit值的变化趋势与每个特征对所述原始模型输出的计算结果所起影响的正负成正比。

本发明实施例实现了如下技术效果：提出了计算样本中每个特征的平均边际贡献，进而基于博弈论原理，实现样本中各个特征的平均边际贡献之和加上预设样本数据集中各个样本的第一预测值的平均值得到的和等于该样本对应的第一预测值，该样本对应的第一预测值即与该样本对应的第二预测值相等，即实现了可计算出满足唯一性的每个特征的平均边际贡献；此外，该每个特征的平均边际贡献的大小表示每个样本中每个特征对原始模型输出的计算结果的重要程度，实现了可以通过平均边际贡献的形式来量化、可视化地解释个体特征对计算结果的重要程度、影响程度，进而为实现人工智能计算结果的可解释性、可追责、遵循道德法规等需求奠定基础。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种深度学习计算结果的特征解释方法，其特征在于，包括：

将预设样本数据集输入原始模型，所述原始模型输出第一预测值，计算所述第一预测值的平均值；

将所述预设数据集输入合作博弈论中解释所述原始模型的解释模型，所述解释模型输出第二预测值，其中，所述第一预测值等于所述第二预测值；

针对所述预设样本数据集中的每个样本，计算该样本中每个特征的平均边际贡献，该样本中各个特征的平均边际贡献之和加上所述第一预测值的平均值得到的和等于该样本对应的第一预测值，其中，所述平均边际贡献的大小表示每个样本中每个特征对所述原始模型输出的计算结果的重要程度。

2.如权利要求1所述的深度学习计算结果的特征解释方法，其特征在于，计算该样本中每个特征的平均边际贡献，包括：

通过以下公式计算该样本中每个特征的平均边际贡献：

其中，

表示第i个特征的平均边际贡献；N表示该样本的全体特征集合；S表示N的一个排列子集；M表示该样本的特征的总数；f_x表示所述原始模型的函数；f_x(S∪{i})-f_x(S)表示将第i个特征添加到排列子集S时，边际贡献的增加量。

3.如权利要求1或2所述的深度学习计算结果的特征解释方法，其特征在于，还包括：

通过以下公式计算该样本中多个特征交叉的平均边际贡献：

其中，

表示t个特征交叉的平均边际贡献；N表示该样本的全体特征集合；S表示N的一个排列子集；M表示特征的总数；n为N中的t个特征组成的特征集合，f_x表示所述原始模型的函数；

表示将n中的t个特征添加到排列子集S时，边际贡献的增加量。

4.如权利要求1或2所述的深度学习计算结果的特征解释方法，其特征在于，还包括：

根据每个样本中每个特征的平均边际贡献，计算每个特征的评定模型值，其中，评定模型值的变化趋势与每个特征对所述原始模型输出的计算结果所起影响的正负成正比。

5.一种深度学习计算结果的特征解释装置，其特征在于，包括：

原始模型计算模块，用于将预设样本数据集输入原始模型，所述原始模型输出第一预测值，计算所述第一预测值的平均值；

解释模型计算模块，用于将所述预设数据集输入合作博弈论中解释所述原始模型的解释模型，所述解释模型输出第二预测值，其中，所述第一预测值等于所述第二预测值；

特征解释模块，用于针对所述预设样本数据集中的每个样本，计算该样本中每个特征的平均边际贡献，该样本中各个特征的平均边际贡献之和加上所述第一预测值的平均值得到的和等于该样本对应的第一预测值，其中，所述平均边际贡献的大小表示每个样本中每个特征对所述原始模型输出的计算结果的重要程度。

6.如权利要求5所述的深度学习计算结果的特征解释装置，其特征在于，所述特征解释模块通过以下公式计算该样本中每个特征的平均边际贡献：

其中，

表示第i个特征的平均边际贡献；N表示该样本的全体特征集合；S表示N的一个排列子集；M表示该样本的特征的总数；f_x表示所述原始模型的函数；f_x(S∪{i})-f_x(S)表示将第i个特征添加到排列子集S时，边际贡献的增加量。

7.如权利要求5或6所述的深度学习计算结果的特征解释装置，其特征在于，所述特征解释模块，还用于通过以下公式计算该样本中多个特征交叉的平均边际贡献：

其中，

表示t个特征交叉的平均边际贡献；N表示该样本的全体特征集合；S表示N的一个排列子集；M表示特征的总数；n为N中的t个特征组成的特征集合，f_x表示所述原始模型的函数；

表示将n中的t个特征添加到排列子集S时，边际贡献的增加量。

8.如权利要求5或6所述的深度学习计算结果的特征解释装置，其特征在于，所述特征解释模块，还用于根据每个样本中每个特征的平均边际贡献，计算每个特征的评定模型值，其中，评定模型值的变化趋势与每个特征对所述原始模型输出的计算结果所起影响的正负成正比。

9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至4中任一项所述的深度学习计算结果的特征解释方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有执行权利要求1至4中任一项所述的深度学习计算结果的特征解释方法的计算机程序。

Images