推广TrustAI可信分析：通过提升数据质量来增强在ERNIE模型下性能( 二 ) _生活百科

0.1.3 基于特征的相似度方法(Feature-Cosin, Feature-Dot, Feature-Euc)论文：An Empirical Comparison of Instance Attribution Methods for NLPhttps://arxiv.org/abs/2104.04128
https://github.com/successar/instance_attributions_NLP
深度模型的广泛采用激发了对解释网络输出和促进模型调试的方法的迫切需求。实例归因方法构成了通过检索（可能）导致特定预测的训练实例来实现这些目标的一种方法。影响函数（IF；Koh 和 Liang 2017）通过量化扰动单个列车实例对特定测试预测的影响，提供了实现这一目标的机制。然而，即使逼近 IF 在计算上也是昂贵的，在许多情况下可能会令人望而却步。更简单的方法（例如，检索与给定测试点最相似的训练示例）可能具有可比性吗？在这项工作中，我们评估不同潜在实例归因在训练样本重要性方面的一致性程度。我们发现，简单的检索方法产生的训练实例与通过基于梯度的方法（例如 IF）识别的训练实例不同，但仍然表现出与更复杂的归因方法相似的理想特征
0.2 特征级证据分析算法简介参考链接 https://blog.csdn.net/wxc971231/article/details/121184091
0.2.1 可解释性之积分梯度算法（Integrated Gradients）论文：IntegratedGraients: Axiomatic Attribution for Deep Networks, Mukund Sundararajan et al. 2017https://arxiv.org/abs/1703.01365
我们研究将深度网络的预测归因于其输入特征的问题，这是之前由其他几项工作研究过的问题。我们确定了归因方法应该满足的两个基本公理——敏感性和实现不变性。我们表明，大多数已知的归因方法都不满足它们，我们认为这是这些方法的根本弱点。我们使用这些公理来指导一种称为集成梯度的新归因方法的设计。我们的方法不需要对原始网络进行修改，实现起来非常简单；它只需要对标准梯度运算符进行几次调用。我们将这种方法应用于几个图像模型、几个文本模型和一个化学模型，展示了它调试网络、从网络中提取规则的能力
一种神经网络的可视化方法：积分梯度（Integrated Gradients），它首先在论文《Gradients of Counterfactuals》中提出，后来《Axiomatic Attribution for Deep Networks》再次介绍了它，两篇论文作者都是一样的，内容也大体上相同，后一篇相对来说更易懂一些，如果要读原论文的话，建议大家优先读后一篇。当然，它已经是2016～2017年间的工作了，“新颖”说的是它思路上的创新有趣，而不是指最近发表。所谓可视化，简单来说就是对于给定的输入x以及模型F(x)，我们想办法指出x的哪些分量对模型的决策有重要影响，或者说对x各个分量的重要性做个排序，用专业的话术来说那就是“归因” 。一个朴素的思路是直接使用梯度?xF(x)来作为x各个分量的重要性指标，而积分梯度是对它的改进

文章插图
参考链接：https://www.spaces.ac.cn/archives/7533
https://zhuanlan.zhihu.com/p/428131762
https://zhuanlan.zhihu.com/p/365815861
https://blog.csdn.net/wxc971231/article/details/121184091
0.2.2 LIME算法论文： Lime: "Why Should I Trust You?": Explaining the Predictions of Any Classifier, Marco Tulio Ribeiro et al. 2016 https://arxiv.org/abs/1602.04938
尽管被广泛采用，机器学习模型仍然主要是黑匣子。然而，了解预测背后的原因对于评估信任非常重要，如果一个人计划根据预测采取行动，或者在选择是否部署新模型时，这是至关重要的。这种理解还提供了对模型的洞察力，可用于将不可信的模型或预测转换为可信的模型。在这项工作中，我们提出了 LIME，这是一种新颖的解释技术，通过在预测周围学习可解释的模型，以可解释和忠实的方式解释任何分类器的预测。我们还提出了一种通过以非冗余方式呈现具有代表性的个体预测及其解释来解释模型的方法，将任务定义为子模块优化问题。我们通过解释文本（例如随机森林）和图像分类（例如神经网络）的不同模型来展示这些方法的灵活性。我们通过模拟和人类受试者的新实验展示了解释的效用，在各种需要信任的场景中：决定是否应该信任预测、在模型之间进行选择、改进不可信的分类器以及确定为什么不应该信任分类器.
Local: 基于想要解释的预测值及其附近的样本，构建局部的线性模型或其他代理模型；
Interpretable: LIME做出的解释易被人类理解。利用局部可解释的模型对黑盒模型的预测结果进行解释，构造局部样本特征和预测结果之间的关系；
Model-Agnostic: LIME解释的算法与模型无关，无论是用Random Forest、SVM还是XGBoost等各种复杂的模型，得到的预测结果都能使用LIME方法来解释；

推广TrustAI可信分析：通过提升数据质量来增强在ERNIE模型下性能( 二 )

推荐阅读

毓字取名女孩有寓意属兔最搭的名字有哪些？

柠檬片的功能与功效柠檬片的功效作用

办银行卡需要什么办银行卡需要什么证件和材料

不倒翁小鸟的制作教程

糖尿病人适合送的礼品女总裁给男秘书送粥

excel查找不出来是什么原因

大红袍分几种肉桂

强势老人是家庭的灾难【老人强势发生家庭矛盾】

“魑魅魍魉” 你们知道怎么读吗？魑魅魍魉怎么读

熟黄芪泡水喝的功效与作用熟黄芪泡水喝有哪些功效与作用

孕妇铅过高有什么症状有什么不良影响

关于淮北公交简述淮北公交

山药圆子怎么做才好吃，肉末山药圆子的做法？

关于特别认真地生活简述特别认真地生活

父母买房可以写未成年孩子的名字吗,规避转让税但不能贷款

饭圈拉瓜是什么意思饭圈拉郎是什么意思

今年广东调整养老金的新消息 2022广东省养老金上调方案及补发时间

防弹咖啡怎么做好喝防弹咖啡怎么做

终不似少年游终不似少年游

昆明机场离哪个高铁站近，昆明飞机场到高铁站有多远？