AI顶会ICLR找来论坛和推特网友当论文评审这样真的靠谱,网友,找,EditSprings,艾德思

 随着人工智能顶会文章数量的增长,本科生评审也已经无法满足大会需求了,一些会议组织者最近产生了「大胆的想法」.本文中,来自卡耐基梅隆大学(CMU)的助理教授 Zachary C. Lipton 对此事发表了评论.

近年来,大会接收的文章数量直线上升,但经验丰富的研究人员却没有明显增长.一些机器学习大会陷入困境,不得不选择扩充同行评审队伍,以应对文章的大幅增长.

该信息图展示了 NeurIPS 文章接收数量的逐年变化.红色部分为预测数据.

由于每个教授和高年级研究生/博士生的评审工作量都已接近饱和,大会组织者们极富创意地在「不太可能」的地方找到了评审者.

ICLR 的项目主席拒绝透露他们寻找未被发现的评审人才的策略,怕这些商业机密被对手 NeurIPS 和 ICML 利用.幸运的是,在匿名前提下,几个职位较低的 ICLR 工作人员同意透露他们利用的一些非常规渠道.

1. 著名论坛 Reddit 上 r/machinelearning 板块中的一切渠道

2. 关注 @ylecun(人工智能先驱 Yann LeCun)的 Twitter 用户

3. 注册 .ai 和.ml domain 用户的人

5. 在 Siraj Raval 深度学习 rap 视频上评论的 YouTube 用户

6. 注册为.ai/.ml domain 所有者的机构的员工

7. 在 Burning Man 上 Andrej Karpathy 的 4° 上驻扎的每一个人

8. 过去六个月里处理 TensorFlow/Pytorch 或 MXNet 棘手问题的 GitHub 用户

9. 与优达学城合作,将 ICLR 大会文章评审作为深度学习入门课程的一个项目

有这么多新的评审员,看到一些不同寻常的评审建议也就不足为奇了.这些建议有的很短,有些则很奇怪……感受一下里面的网络语言(「imho, srs paper 4 real」)……还有些评审建议挑战社区成员具备的共同知识(如「who are you to say this matrix is degenerate?」)

然而,如果不仔细看,有人可能觉得这些给出建议的人不够格,掩盖了一批新评审员为应对评审工作所做的努力.我之所以知道这一点,是因为许多新的评审员都是的热心读者,在过去的几周里,我的邮箱里充斥着善意的新评审员们提出的严肃问题.

如果以前当过老师,您就会发现他们的问题中有很多是重叠的.因此,虽然通常我们不会在上发布 QA 类型的论文,但此次破例似乎倒也说得过去.我汇编了几个问题作为例子,并在一篇名为「Is This a Paper Review?」的问答论文中提供了简洁的答案.以下是部分问答内容:

帕萨迪纳市的 Henry 写道:

我被分配来评审一篇文章.我读了摘要,形成了与该文章主题相关的见解.然后写了一段话来表达我的见解,以及与一位匿名评审就一个无关的话题展开讨论.这是 Hacker News 上的标准做法,我在上面获得了 2000 多个支持,这些支持成为了我为 ICLR 进行评审的资格基础.这算文章评审吗?

AC:不,这不是文章评审.

迈索尔市的 Pandit 写道:

我阅读过一篇关于梯度下降收敛的文章.文中所说的「limit」我没看明白,所以直接跳到了文章后面,然后我发现他们没在 ImageNet 上做任何实验.我写了一个「一句话(one-line)」评论,标题上写着类似「这是什么鬼」这种,正文写了「没在 ImageNet 上做实验」.这算是文章评审吗?

AC:不,这不是文章评审.

上海的 Xiao 写道:

我根据曾经的 ICLR 评审训练了一个 LSTM,然后在 softmax temperature 设定为 的情况下运行它.输出显示「不新颖」.我把这一点加在了 OpenReview 中.这算是文章评审吗?

AC:不,这不是文章评审.

博尔德市(Boulder)的 George 写道:

评审这篇文章的时候,我发现它与我 1987 年的一个概念有某种相似之处.虽然我很喜欢这个概念(您尽可以想象),但我给它打了一个中等的分数.我给的评论建议中,有一半是关于技术研究的固定讨论,另一半专门用来列举我自己关于这个概念的文章,并要求作者引用它们.这算是文章评审吗?

AC:听起来像一个糟糕的文章评审.不过如果您把评分提高到不带感情的程度,并指出那篇文章与您自己文章的相似之处,然后给元评审(metareviewer)发一个提示,指出其中小小的利益冲突,这就是一个不错的评审了.

新泽西的 Rachel 写道:

我阅读了文章.在前两页出现了 10 个数学错误,其中的一些导致整篇文章都不正确.于是我停止阅读文章以节省时间,并撰写了一篇简短的评审建议指出错误,我写道:「该文章不适合在 ICLR 上发表.」这是一篇文章评审吗?

AC:虽然通常来讲,这么短的评审建议并不合适,但这篇明显例外.建议写得非常好!

11 月初,ICLR 2019 的文章评审结果出炉,评审们已经在文章的 openreview 页面公布了他们的评论和分数.本届大会共接收到了 1591 篇文章投稿,相比去年的 996 篇增长了 60%.在 11 月 5 日到 11 月 21 日期间,文章作者可以对评审人的评论进行回复/修改文章.

在社交网络上,已有文章作者对评审的给分提出了质疑.扩大评审队伍的效果究竟怎样,看来还有待观察.

更多科研论文服务，动动手指，请戳 论文润色、投稿期刊推荐、论文翻译润色、论文指导及修改、论文预审！

语言不过关被拒？美国EditSprings--专业英语论文润色翻译修改服务专家帮您！