参考文献

注册

 

发新话题 回复该主题

万字综述,GNN在NLP中的应用,建议收 [复制链接]

1#

今天为大家解读的是由京东硅谷研发中心首席科学家吴凌飞博士等研究者最新发表的GNNforNLP综述,几乎覆盖了围绕NLP任务的所有GNN相关技术,是迄今为止GNNforNLP领域最全面最新的综述性文献。

论文标题:GraphNeuralNetworksforNaturalLanguageProcessing:ASurvey作者:LingfeiWu;YuChen;KaiShen;XiaojieGuo;HanningGao;ShuchengLi;JianPei;BoLong单位:京东硅谷研发中心论文                                                  图3AMRGraph

AMR图是有根、有标注、有向、无环的图,它被广泛用于表示非结构化的具体自然文本的抽象概念之间的高级语义关系。与句法上的特异性不同,AMR是高层次的语义抽象。更具体地说,在语义上相似的不同句子可能共享相同的AMR解析结果,例如,"保罗描述自己是一个战士"和"保罗对自己的描述:一个战士",如图3所示。与之前介绍的依赖树和成分树类似,AMR图是由AMR解析树衍生出来的。

信息抽取图构建(InformationExtractionGraphConstruction)fig31

                                            图4InformationExtractionGraph

信息抽取图(IEGraph)旨在提取结构信息来表示自然句子之间的高级信息,例如基于文本的文档。这些提取出来的关系,捕捉到远距离句子之间的关系,在许多NLP任务中很有帮助。在下文中,为给定段落构建IE图的过程分为三个基本步骤。1)指代消解,2)构建IE关系,3)图的构建。

话语图构建(DiscourseGraphConstruction)

当候选文档太长时,许多NLP任务会受到长距离依赖性的挑战。话语图描述了两个句子之间的逻辑联系,可以有效地解决这种挑战。

知识图谱构建(KnowledgeGraphConstruction)fig4

图5knowledgegraph

捕捉实体和关系的知识图谱(KG)可以大大促进许多NLP应用中的学习和推理。KG可以表示为G(V,E),它通常由知识库中的元素构建。形式上,定义三元组作为知识库的基本元素,包括是源实体,目标实体和关系类型。然后,在知识库中添加两个节点,即源节点和目标节点,并从节点v1到节点v2添加一条边类型为rel的有向边。

构建KG的第一件事是获取给定查询中的术语实例。然后,通过一些匹配算法(如最大子串匹配)将术语实例与KG中的概念联系起来。这些概念被看作是提取的子图中的初始节点。下一步是获取初始节点在KG中的1跳邻居。此外,人们可以通过应用一些图节点相关性模型,如个性化的PageRank(PPR)算法,来计算邻居与初始节点的相关性。然后根据结果,进一步修剪出相关性分数低于置信度阈值的边,并删除孤立的邻居。剩余的最终子图随后被用来给任何图表示学习模块提供信息。

共指图构建(CoreferenceGraphConstruction)

在语言学中,当某个段落中的两个或多个术语指代同一个对象时,就会出现共指。许多工作表明,这种现象有助于更好地理解语料库的复杂结构和逻辑,解决歧义。为了有效地利用共指信息,共指图用来显式的建模隐性共指关系。给定一组短语,共指图可以连接文本语料库中指代同一实体的节点(短语)。

相似图构建(SimilarityGraphConstruction)fig5

图6similaritygraph

相似性图旨在量化节点之间的相似性,在许多NLP任务中被广泛使用。由于相似性图通常是面向应用的,因此我们重点

分享 转发
TOP
发新话题 回复该主题