Editsprings@163.com (周一至周日,9:00-23:00) | (周一至周日,9:00-23:00)

论文分享基线模型需要受到更多关注基于词向量的简单模型,EditSprings,艾德思

网络 | 2019/01/02 09:20:22  | 127 次浏览



 

报告人:方烜宇

文章题目:Baseline Needs More Love: On simple Word-Embedding-Based Models and Associated Pooling Mechanisms

文章作者: Dinghan Shen, Guoyin Wang, Wenlin Wang等

文章来源: ACL2018

文章链接:

代码地址:

报告时间:  14:30

报告地点:中山大学超算中心 507

    本文是来自ACL2018的一篇论文,论文讨论的问题是在文本建模时,模型的复杂程度与模型的表达能力应该怎样抉择.很明显,从论文的题目我们可以看出,作者的态度很明确,认为基线模型需要受到更多的关注,也即,模型并不是越复杂越好.

    对于自然语言处理任务来说,我们的工作可以分为如下三个步骤:文本数据预处理/文本建模(或者说将文本进行表征)/结合具体模型解决任务.而其中,文本建模则是最为关键的一步,理论上来说,只要这一步效果好,后续步骤是非常容易取得很好的效果的.

    这篇论文讨论的是建立在词向量基础上的文本建模.在词向量没有出现之前,有许多基于统计/基于计数的文本离散表示,比如独热编码/ TF-IDF/N-gram等,这些离散表示方式都有一个非常严重的不足,就是它们无法挖掘词汇语义之间的相似性.直至词的连续表示词向量的出现,深度学习这一工具才开始在自然语言处理中展现出强大的威力.

    常用的文本建模模型有CNN与LSTM等.

 

 

    而经过无数的效果验证,CNN与LSTM的确具有不错的文本建模能力.但是,CNN与RNN也同样存在着这样一个问题,那就是它们的参数量较大,训练时间较长.

    针对这一问题,作者从减少模型参数,也即减少计算量出发,提出了基于词向量与池化操作的简单模型,并且进行了大量的实验验证其效果,与原有模型进行对比.

 

 

 

   作者首先比较几个模型之间的参数量/复杂度等.

 

其次选取文本分类以及文本序列匹配等几个任务观察其模型效果.实验结果如下:

 

 

   

更多科研论文服务,动动手指,请戳 论文润色投稿期刊推荐论文翻译润色论文指导及修改论文预审

语言不过关被拒?美国EditSprings--专业英语论文润色翻译修改服务专家帮您!

上一篇:【严正申明】关于我公司网站被恶意抄袭严正声明

下一篇:论文翻译在线乐文翻译公司如何保证论文翻译的质量,EditSprings,艾德思

特别声明:本文转载仅仅是出于传播信息的需要,并不意味着代表本网站观点或证实其内容的真实性;如其他媒体、网站或个人从本网站转载使用,须保留本网站注明的“来源”,并自负版权等法律责任;作者如果不希望被转载或者联系转载稿费等事宜,请与我们接洽。

凡注明来源为“EditSprings”的论文,如需转载,请注明来源EditSprings并附上论文链接。

最热论文