参考文献

注册

 

发新话题 回复该主题

NAACL最佳论文量子概率驱动 [复制链接]

1#
北京治痤疮好医院 http://pf.39.net/bdfyy/zjft/210630/9125685.html

来源:PaperWeekly

本文约字,建议阅读0+分钟。

本文为你介绍年度最佳可解释NLP论文。

今天要介绍的文章与当前大火的BERT同获最佳论文,摘得NAACL最佳可解释NLP论文(BestExplainableNLPPaper)。NAACL与ACL和EMNLP并称之为NLP三大顶会,去年ELMO获得outstandingpaper,今年一共有五篇最佳论文,分别是BestThematicPaper,BestExplainableNLPPaper,BestLongPaper以及最佳短文和最佳resource论文。

目前用深度学习的方法来做NLP任务已经越来越火了,很多具有复杂结构的神经网络被声称在给定规范良好的输入和输出的某些数据集有着更好表现。但是神经网络本身的可解释性的问题,像一颗定时炸弹,始终萦绕在大家心头。

如果始终在how的问题上,在应用上下猛药,也可能像炼丹术一样,有可能并没有对准病症。而why的问题,也就是它为什么work的机制,是一个更难的问题,正吸引越来越多的研究者从不同的角度和视野去挑战。

哈士奇还是狼?

对于神经网络的工作原理,有一个形象的例子,那就是哈士奇还是狼(huskyorwolf)的问题[]。大部分人都可以很正确地判断出左图中的动物是狼,而右图中的动物是哈士奇,这两个图对人而言还是相对不难。不出意外地,神经网络模型也能够把这两张图分得很准。

当让神经网络模型分下面这张图,它就凌乱了,认为下图是狼。

原来神经网络模型分类这两个类别,靠的是背景,而不是真的知道哈士奇和狼之间细微的区别。换句话说,一旦哈士奇大哥偶尔跑到雪地上,神经网络就傻眼了。如果有一天用户或者产品经理跑过来说,这只站在雪地里的哈士奇,一定要在下一个版本被正确地分类,那么这时候负责模型设计人员多半会手足无措。

提到这一个例子的目的是说明,因为神经网络内部本身的约束非常少,神经元的值可以在任意的取值区间,这使得神经网络只是被当做一个黑盒子去拟合输入输出,其内部的机制并不能够被大家所清晰地理解。因此,目前的神经网络往往并不是十全完美的解决方案,而需要改进结构的设计便于人们理解其内部的机制。

可解释性(Interpretation)

可解释性的问题较早就有人提出来,有着不一样的叫法,比如interpretable,explainable,intelligible,transparent和understandable,不一而足。

值得提到的是此处的可解释性与推荐系统的推荐理由或多或少有一些联系和细微的区别,本文提到的可解释性并不限于对于机器学习某个预测(某个特定case)的理由,更多的理解为对这个模型的通用(general)的理解。无论何种理解,可解释性都与最终的性能关系并不紧密。

通常,可解释性是人们在机器学习模型中寻求的各种特征的代理。这些辅助的特征可能是公平性(Fairness,能否减轻各类偏见bias?),可靠性(Reliability),因果(Causality,是一种相关性还是因果性?如分类哈士奇和狼是靠的两种类别之间的差异,还是由于背景带来的相关性),可信度(Trust,模型能够知道预测本身的置信度如何?)。

本文主要参考Lipton的说法[2],主要解释为透明度Transparency和事后解释性Post-hocExplainability。

前者Transparency主要关心模型的运作机制和功能。这样方便人类去做检查,比如人工剔除模型的一些显著的弱点。一旦发现了badcases,人类有办法按照自己预期的目标,去干预和改变它的预测。在实时的应用中,数据可能包含比标注语料更多的噪音,所以透明性更加重要。

事后解释性通常在模型训练完成之后的马后炮解释。在模型训练之后,比如对一些组件做一些统计分析,像对CNN核的可视化,对机器翻译attention的可视化[3][4]。

CNM复值匹配网络

值得注意的是,本文提到的可解释网络并非标准范式,本文作者给出一些新的神经网络范式,从新的角度去阐述可解释性。

本文提到的网络不同于多层感知机,卷积神经网络和循环或递归神经网络。从网络结构本身,可以理解为一个玩具(toy)网络(代码开源在Github上),因为目前它是一个较浅的神经网络,在结果本身并没有太大的竞争力,

分享 转发
TOP
发新话题 回复该主题