Editsprings@163.com (周一至周日,9:00-23:00) | (周一至周日,9:00-23:00)

论文浅尝常识用于回答生成式多跳问题,EditSprings,艾德思

网络 | 2019/01/02 09:34:40  | 133 次浏览



 

链接:

 

AnsweringTasks

多跳问题一般需要模型可以推理/聚合/同步上下文中不同的信息.就需要理解那些人类通过背景知识可以理解的限制关系.本文提出了一个很强的 baseline模型(multi-attention + pointer-generator decoder);引入了一个评分函数评价从ConceptNet知识库中抽取多跳知识(pointwise mutual information + term-frequency );并有效的利用提取的常识信息填补上下文的推理中( selectivelygated attentionmechanism).

介绍 Machine Reading Comprehension : MRC 长期以来一直是评估模型理解和推理语言能力的任务.

Commonsense/Background Knowledge : 将常识知识作为外部数据库中的关系三元组或特征添加.

Incorporation of External Knowledge : 尝试使用外部知识来提高任务模型性能.

模型

Embedding Layer: ELMo(Peters et al., 2018)).

Reasoning Layer: context embedding 通过 k 个 resoning cell 模拟一步推理.每一步都通过 query 的 BiDAF attention(Seo et al., 2017) 更新 context representation .

Self-Attention Layer:   self-attention (Cheng et al., 2016) 解决 long-term dependencies and co-reference within the context.

Pointer-Generator Decoding Layer:   (See et al.,2017) 生成答案.

引入常识

 

 

这部分是关键,主要分为两步:

a.      在常识知识库中找出多跳动候选路径 , 形成树结构 .

·      C1 是问句中的常识词 .

·      C2 是 C1 通过一跳可以达到而且出现在 context 中 . [Direct]

·      C3 是 C2 通过一跳可以到达而且出现在 context 中 . [Multi-Hop]

·      C4 是 C3 的邻居 , 不必出现在 context. [OutsideKnowledge 获取更多信息 ]

·      C5 是 C4 的邻居 , 需要出现在 context 中 . [Context-Grounding. 确保信息有用 ]

b.      给候选路径打分筛选

·      节点初始分

1.   C1\C2\C3 重要的概念总是经常在上下文中出现,利用术语在上下文中的频率近似它概念的重要性 .

 

 

|C| 是上下文的长度 \\count(c )是单词c出现的次数.

 

2.      C4 不在上下文中,但在启发式的方式下,重要的概念经常在不同的路径里重复出现.

利用 Pointwise Mutual Information (PMI):

PMI(c4, c1 − 3) = log( P (c4, c1 − 3)/ P (c4) P(c1 − 3))

 

 

 

 

 

 

3.      不同分支/不同层级的节点不存在竞争,所以最后可以求一个标准化:

 

·        节点累计分

  因为添加的常识信息包括多跳,所以计算评分的时候不止需要当前节点的得分,还要考虑其树的后代.

 自底向上计算: 其中 f 是这个节点得分最高的两个子节点平均得分.

    c-score(c l ) =n-score(c l ) + f(c l )

·        路径选择

·        自顶向下选择每个节点得分最高的两个.最多有 2^4=16 条路径.

实验 本文中在 generative NarrativeQA (Kocisk ˇ y` et al., 2018) (summary subtask) 和 extractive QAngaroo WikiHop 这两个数据集上进行了实验,实验结果显示本文机制能够较大的提高模型的性能.

 

更多科研论文服务,动动手指,请戳 论文润色投稿期刊推荐论文翻译润色论文指导及修改论文预审

语言不过关被拒?美国EditSprings--专业英语论文润色翻译修改服务专家帮您!

上一篇:【严正申明】关于我公司网站被恶意抄袭严正声明

下一篇:论文拒稿后申诉信要注意什么问题,EditSprings,艾德思

特别声明:本文转载仅仅是出于传播信息的需要,并不意味着代表本网站观点或证实其内容的真实性;如其他媒体、网站或个人从本网站转载使用,须保留本网站注明的“来源”,并自负版权等法律责任;作者如果不希望被转载或者联系转载稿费等事宜,请与我们接洽。

凡注明来源为“EditSprings”的论文,如需转载,请注明来源EditSprings并附上论文链接。

最热论文