论文分享基线模型需要受到更多关注基于词向量的简单模型,EditSprings,艾德思



报告人:方烜宇

文章题目:Baseline Needs More Love: On simple Word-Embedding-Based Models and Associated Pooling Mechanisms

文章作者: Dinghan Shen, Guoyin Wang, Wenlin Wang等

文章来源: ACL2018

文章链接:

代码地址:

报告时间:  14:30

报告地点:中山大学超算中心 507

    本文是来自ACL2018的一篇论文,论文讨论的问题是在文本建模时,模型的复杂程度与模型的表达能力应该怎样抉择.很明显,从论文的题目我们可以看出,作者的态度很明确,认为基线模型需要受到更多的关注,也即,模型并不是越复杂越好.

    对于自然语言处理任务来说,我们的工作可以分为如下三个步骤:文本数据预处理/文本建模(或者说将文本进行表征)/结合具体模型解决任务.而其中,文本建模则是最为关键的一步,理论上来说,只要这一步效果好,后续步骤是非常容易取得很好的效果的.

    这篇论文讨论的是建立在词向量基础上的文本建模.在词向量没有出现之前,有许多基于统计/基于计数的文本离散表示,比如独热编码/ TF-IDF/N-gram等,这些离散表示方式都有一个非常严重的不足,就是它们无法挖掘词汇语义之间的相似性.直至词的连续表示词向量的出现,深度学习这一工具才开始在自然语言处理中展现出强大的威力.

    常用的文本建模模型有CNN与LSTM等.

    而经过无数的效果验证,CNN与LSTM的确具有不错的文本建模能力.但是,CNN与RNN也同样存在着这样一个问题,那就是它们的参数量较大,训练时间较长.

    针对这一问题,作者从减少模型参数,也即减少计算量出发,提出了基于词向量与池化操作的简单模型,并且进行了大量的实验验证其效果,与原有模型进行对比.

   作者首先比较几个模型之间的参数量/复杂度等.

其次选取文本分类以及文本序列匹配等几个任务观察其模型效果.实验结果如下:

更多科研论文服务，动动手指，请戳 论文润色、投稿期刊推荐、论文翻译润色、论文指导及修改、论文预审！

语言不过关被拒？美国EditSprings--专业英语论文润色翻译修改服务专家帮您！