资讯 人工智能学术
此为临时链接,仅用于文章预览,将在时失效

NeurIPS 2020投稿一览:提交过万,算法一骑绝尘,“直拒率”达11%

作者:蒋宝尚
2020/07/18 16:14

NeurIPS 2020投稿一览:提交过万,算法一骑绝尘,“直拒率”达11%

作者 |蒋宝尚

编辑 |  丛 末

今日,神经信息处理系统大会NeurIPS在Medium官方账号发布了文章《Reviewing is Underway!》,对今年的投稿情况和审稿流程进行了说明。      

NeurIPS 2020投稿一览:提交过万,算法一骑绝尘,“直拒率”达11%

文章中提到,今年的NeurIPS投稿数量比2019年增长了38%,这又是AI研究蓬勃发展的一年。具体而言,一共收到了12115份摘要,但随后提交完整的只有9467份。另外还有184篇论文有违规行为:被作者撤回、非匿名提交以及论文篇幅超过最大页数等。

其它“遵守纪律”的论文都已经分配给了领域主席以及Senior领域主席,这两类主席在对这些论文简单的浏览之后,进行了初步判断:占总数 11% 的论文被直接拒掉,其他89%的论文分配给了合适的审稿人。值得一提的是,这89%对应的具体数字8186。另外,文章中还强调,这直接被拒掉的11%的论文,将不会再次接受审阅。 

论文提交情况

今年NeurIPS的论文提交流程主要有三个日期节点,它们期间间隔两周多。三个节点分别是:1、提交摘要;2、完整的论文和完整的作者名单;3、补充材料。在这三个节点中,同行评审平台CMT都很给力,作者在提交的过程中几乎没有遇到任何技术困难,当然,也不能如此绝对,例如要求合著者在CMT上注册,要求提交“更广泛的影响”,要求单独上传补充材料,这些都产生了一些小问题。但总的来说,提交过程进行的非常顺利。

今年的论文主题分布也有所变化,算法占比29%,深度学习占比19%,应用占比18%,强化学习和规划(planning)占比9%,理论占比7%,概率方法占比5%,机器学习的社会方面( Social aspects of machine learning)占比5%,优化占比5%,神经科学和认知科学占比3%。与2019年相比,深度学习和应用领域的论文略有下降(均下降了2%),而机器学习的社会方面有所增加(增加了3%)。

审稿人名单和论文分配

找到足够数量的合格审稿人非常重要,今年在这方面的政策有两个变化:1、审稿人可以推荐和提名;2、直接从论文的作者以及论文的联合作者中选择审稿人。最后根据论文发表情况、审稿经验、学科领域等信息,组委会“选拔”了7800名合格的审稿人名单,其中2400人来自今年的投稿作者。7800名审稿人看似极大的增强了论文审阅能力,但许多审稿人只分配了2篇或者3篇的额度,还有一些审稿人只有一个领域的专业知识,这两种情况的都限制了分配审阅论文的能力。每一篇论文都会经过三位审稿人,一位领域主席的“批改”。为了提升分配质量,需靠考虑的因素包括学科领域相似度、出版物的相似度、审稿人的偏好。但是同时也考虑审稿人和领域主席是否存在利益冲突。因此,组委会努力确保每个人在论文匹配系统(TPMS)和OpenReview上都有最新的账户,完整地记录了他们的利益冲突信息。另外。组委会还设法自动为审稿人分配论文,今年平均亲和度得分(综合考虑TPMS和OpenReview的指标)为0.74,比2019年高出近10%。

直接拒绝

在过去的三周中,组委会指派领域主席和Senior 领域主席承担“直接拒绝”的任务。其中领域主席识别可能被拒绝的论文,Senior 领域主席反复核对这些论文。因此,每一篇被直接拒绝的论文,都有两位资深的专家“签字”。值得一提的是,为了降低偏见,这两位专家是看不到论文作者的信息。总体而言,领域主席和Senior领域主席做的非常出色,他们在不到三周的时间里审阅了9000多份论文,另外,领域主席和Senior领域主席还为作者提供了一套标准化的拒绝原因(例如,不清晰、超出范围)等。此外,在收到的“拒绝建议”中,超过一半还提供了简短的特别反馈,进一步解释了拒绝的原因。直接拒绝有利有弊,有很多地方可以改进。

“直接拒绝”除了减轻了审稿者的负担外,还能够让领域主席和Senior领域主席更加熟悉分配给他们的论文,为他们随后“领导”审稿人提供帮助。

此外,直接拒绝的坏处是,这些论文的作者几乎没有得到什么建设性的反馈来改进他们的论文。另外,需要注意接下来的几个时间点:1、在2020年8月7日之前将审查结果通知作者;2、这之后,程序委员之间将有个讨论期,8月底由领域主席提出初步建议;9月,开启校准阶段(calibration phase),先对每个学科领域进行一次校准,最后的校准将审查所有领域的整体论文情况。预计将在9月底之前将是否录用的结果通知作者。


(雷锋网)、(雷锋网)、(雷锋网)

长按图片保存图片,分享给好友或朋友圈

NeurIPS 2020投稿一览:提交过万,算法一骑绝尘,“直拒率”达11%

扫码查看文章

正在生成分享图...

取消
相关文章