资讯 人工智能学术
此为临时链接,仅用于文章预览,将在时失效

EMNLP 截稿时间延迟48小时,组委会发文“提醒”审稿人什么论文不该被拒!

作者:丛末
2020/06/03 10:51

EMNLP 截稿时间延迟48小时,组委会发文“提醒”审稿人什么论文不该被拒!

由于全球疫情和美国近段时间的动荡,EMNLP 组委会发布通知,宣布截稿时间延迟 48 小时(6月3日,UTC) ,正在奋笔疾书地赶着 Deadline 的小伙伴们可以稍微松口气啦 !

而提交投稿之后,等待大家的就是长达三个多月的审稿期了。在近年来顶会审稿“怪象”层出不穷的背景色下,各位投稿作者们对于今年 EMNLP 的审稿质量想必也是惴惴不安。

这不,不久前 EMNLP 组委会就专门向审稿人发布了一篇建议公告,指出审稿人应该做什么以及不应该做什么,并特别强调“一篇论文的贡献可以是在效率、泛化能力、可解释性和许多其它的指标上有所进步。任何令人信服的贡献都不应该仅仅因为没有在某些指标上取得最高排名而被拒绝。”

以下为公告正文内容:


本文旨在为审稿人们提供一些建议,让我们可以找出最佳的研究工作,在 EMNLP 大会上展示它们,并且提出有建设性的反馈意见,使作者们能进一步改进它们的文章。我们高度赞赏审稿人们做出的大量贡献,希望让审稿工作更有益。我们希望所有的作者在阅读到针对其文章的同行评审意见时,能够改到醍醐灌顶。

本届 EMNLP 大会并不是首次试图培训审稿人的学术会议。在自然语言处理(NLP)和其它的领域中,许多重要的会议都曾经向审稿人给出建议,在学术期刊评审过程中也是如此。在 NLP 领域中,我们希望重点强调:

烦请大家费点时间浏览一下这些优秀的资源。

在这里,我们希望重新强调一些建议/不建议做的事,希望它们能够帮助审稿人和作者。

首先,请评价论文的贡献。此时,你应该用到你在 NLP 领域的专业知识。我们建议你不应该仅仅因为作者在论文中给出的实验结果较好,或者在数学上似乎很复杂就接收论文。这都不是论文构成贡献的充分或必要条件。

同时,我们还建议你不应该仅仅因为有些论文的实验结果没有比目前最佳的工作(SOTA)好就拒掉它们。在之前的 ACL 大会上,一些审稿人过于看重 SOTA 的模型性能,他们给任何没有达到 SOTA 性能的系统都打了低分。

然而,我们的目的是发表真正最好的论文,那么一个具有建设性的问题就是「论文应该在哪些方面最先进?」。正如博文「Peer review in NLP: reject-if-not-SOTA」中所谈到的,一篇论文的贡献可以是在效率、泛化能力、可解释性和许多其它的指标上有所进步。任何令人信服的贡献都不应该仅仅因为没有在某些指标上取得最高的排名而被拒绝。博文地址:https://hackingsemantics.xyz/2020/reviewing-models/关于不同类型的贡献,马里兰大学的 Philip Resnik 教授曾说:

我认为,鼓励审稿人们明确地思考贡献的本质,以及「我们真正需要提出的问题是什么」是非常有意义的。首先,你应该考虑/讨论:

这份研究工作是否在科学方面有所贡献?如果有的话,请继续追问:

  • 作者试图提升我们对世界上什么现象的理解?

  • 对于这个之前未知的现象,现在我们有了什么了解?

这份研究工作是否在工程方面有所贡献?如果有的话,请继续追问:

  • 这份工作在解决什么现实世界中的问题(或一系列问题)上取得了进步?

  • 或者没如果它针对的不是一个当前的现实问题,那么它将在未来帮助解决哪些现实问题?

这份工作是否在理论方面(例如,数学上)有所贡献?如果有的话,请继续追问:

  • 我们现在是否知道什么之前不知道的东西?

  • 这份工作在理论或数学上的进展与科学或工程上的目标有什么联系?(见上文)

计算语言学的工作可能在科学、工程、理论方面都有所贡献,而不仅仅是在某一个方面有所贡献。但是,我建议,如果一篇论文在上述三个方面都没有任何贡献,而在下面的子条目中可以找到答案,那么你就需要认真考虑这篇论文的内容是否与本会议的要求相符。

其次,在阅读论文和撰写审稿意见时,请考虑下面这些重要的因素:

因此,我们建议审稿人不应该基于下面的原因拒掉一篇论文:

当你撰写审稿意见时,请避免根据上述理由作为拒稿理由的主要原则。我们将确保作者知晓这些准则,并且在作者撰写反驳意见的时候参考它们。领域主席(AC)们将基于上面的原则仔细审核审稿意见,并且可以要求审稿人修改审稿意见,或者提供客观的理由来证明其立场。

我们希望这些建议对于审稿人有所帮助,同时也希望有更多的作者对审稿人给出的深刻反馈表示感谢,我们希望抱怨评审意见的审稿人少一些。感谢各位帮助我们评审论文,让我们一同努力,办出一届成功的 EMNLP 2020 大会!

相关阅读资源:

如果你想要阅读更多有关审稿的通用建议,我们向你推荐以下资源:

阅读上面提到的任何文章和视频都将会让你树立信心,让你相信自己在做正确的事情。雷锋网

在这份官方建议的指导下,今年“放榜”之际, EMNLP 的审稿人们是否会让大家失望了?

长按图片保存图片,分享给好友或朋友圈

EMNLP 截稿时间延迟48小时,组委会发文“提醒”审稿人什么论文不该被拒!

扫码查看文章

正在生成分享图...

取消
相关文章