资讯 人工智能学术
此为临时链接,仅用于文章预览,将在时失效

ACL 2019 放榜!为免 review “划水”,组委会做了哪些努力?

ACL
作者:黄善清
2019/05/16 12:39

雷锋网 AI 科技评论按:以 2906 份论文提交数再创自然语言处理顶会新记录的 ACL 2019,在今日正式放榜!我们目前已经看到学界陆续传来的“捷报”,比如中科院自动化所的宗成庆老师团队,就有 3 篇论文被今年的会议录用。为大家所取得的成绩感到高兴之余,雷锋网 AI 科技评论也专门翻译了 ACL 2019 组委会的一篇博文,趁机了解 ACL 2019 为确保审稿质量做出了哪些努力。

ACL 2019 放榜!为免 review “划水”,组委会做了哪些努力?

随着人工智能的兴起,自然语言处理越来越受到人们的关注,几乎所有近期会议的自然语言处理领域论文都在提交数量上取得了突破。纵观 ACL 的发展历史,我们从未见过如此戏剧性的增长:短短一年时间内,论文的提交数量就从 1544 份变成 2906 份!下图完整显示了 ACL 过去 20 年的增长情况,涉及内容包括论文提交、审阅人员以及区域主席(高级)等情况。

ACL 2019 放榜!为免 review “划水”,组委会做了哪些努力?

要对如此大体量的提交论文进行审阅,需要一个运行良好的大型项目委员会。为此,我们创建了一种在项目委员会( Program Committee)基础上带有高级项目委员会(Senior Program Committee)的会议结构。我们为高级项目委员会招募了一定数量的高级领域主席(共计 46 位,每个区域 2 - 4 名主席)以及领域主席(共计 184位,每个区域 3 -15 名主席)。我们对各个岗位的任务进行了严格区分,高级领域主席主要负责将论文分配予领域主席及审稿人,并为各自专注的领域提出建议;领域主席主要负责该领域内的一小部分论文,具体任务是与审稿人进行讨论、写 meta-reviews 以及提出初步建议。这种组织结构有助于弥补快速增长背后的问题——缺乏经验丰富的审稿人。由于领域主席需要评阅的论文数量较少,因此可以更专注于审查过程。审稿人方面,我们今年配置了大量人员,共达 2281 名(ACL 2018 的数量为 1610 名)。

由于今年的论文提交数量是如此之多,以至于会议的组织(从开始的提交审查到最终的审阅决策)都要比往常更加费时。考虑到时间非常紧迫,所以我们寻找各种可以提高效率的方法。我们希望在提高工作效率之余,还能提升作者和区域主席的用户体验。为此,我们减少了原来需要 3 天(或更少)短期周转的截止日期。考虑到社区中工作和生活情况的多样性(即人们实际上可投入于会议相关工作的时间/天数的巨大变化),那样的截止日期充其量只会给所有人带来压力,且往往效果不佳。

具体来讲,我们今年落实了以下几点改变:

Does My Rebuttal Matter? Insights from a Major NLP Conference
Yang Gao, Steffen Eger, Ilia Kuznetsov, Iryna Gurevych and Yusuke Miyao

虽然我们采取了种种节约时间的措施,然而对于项目委员会主席、高级区域主席、区域主席以及审稿人来说,会议日程依然非常紧张。让人感到有趣的是,尽管 ACL 在过去 20 年内有了显著增长,然而日程安排却几乎与 1999 年没什么两样。另外还有一点,从提交截止至录取通知的时长,也与 1999 年完全相当(都是两个月),虽然论文提交的数量如今已增加了十倍,且个人电脑的体积及复杂程度变化极大。也许我们是时候采用这些会议的做法(比如 IJCAI、NeurIPS、SIGIR)了,即是将这个时长延长至 3-4 个月。随着会议的进一步壮大,这对于维持审查质量来说至关重要。

此外,会议的日程还受到其他会议(如 NAACL 、EMNLP-IJCNLP)以及 ACL 指南和预印需求的影响。为此,我们与其他会议作出了协调一致的努力,避免审查期间出现重叠的情况(否则将导致会议可用时间被缩短)。评审周期一旦出现重叠,要么作者不满意(因为他们的论文无法提交所有会议),要么项目委员会主席觉得混乱(同时管理多个来源的论文提交以及论文撤回)。此外,审稿人也不可能同一时间对多个会议的论文进行审阅。即使今年没有出现重叠的情况,许多作者仍然希望会议之间能有更长的间隙,以便能根据上一个会议的反馈重新修改并提交论文,然而过往情况是,一旦被一个会议拒稿,作者便没有足够时间在下一场会议开始的匿名阶段以前进行论文提交。总的来说,今后除了要注意会议的排期外,截止日期的数量与安排同样值得给予更多关注。

via http://acl2019pcblog.fileli.unipi.it/?p=156

雷锋网 AI 科技评论

长按图片保存图片,分享给好友或朋友圈

ACL 2019 放榜!为免 review “划水”,组委会做了哪些努力?

扫码查看文章

正在生成分享图...

取消
相关文章