NeurIPS 2021获奖论文出炉！斯坦福表现亮眼，“随机变分推理”获时间检验奖，还有新增奖项

编辑 | 青暮

昨日， NeurIPS 2021公布了获奖论文名单！

NeurIPS，全称神经信息处理系统大会（Conference and Workshop on Neural Information Processing Systems），作为关于机器学习和计算神经科学的国际会议，每年固定在12月举行，由NIPS基金会主办。NeurIPS是机器学习领域的顶级会议 ，是神经计算方面最好的会议之一 。在中国计算机学会的国际学术会议排名中，NeurIPS为人工智能领域的A类会议。

该会议最早是由连接学派（connectionist）神经网络的学者于1987年在加拿大创办。之前发布在NeurIPS的论文包罗万象，从单纯的工程问题到使用计算机模型来理解生物神经元系统等各种主题。而近几年论文的主题主要以机器学习，人工智能和统计学为主。

一年一度，各路AI大神“华山论剑”，高手云集，备受瞩目。今年NeurIPS将于下周正式拉开帷幕！

在准备会议之际，组委会决定“花点时间”宣布2021年杰出论文奖、时间检验奖以及数据集和基准测试最佳论文奖名单。

今年共有6篇论文被选为杰出论文奖（Outstanding Paper Awards），评选委员称赞这些论文“具有极好的清晰度、洞察力、创造力和影响深远的潜力”。

下面，我们将一一介绍这6篇佳作（按论文ID顺序排列）。

1. 由微软研究院和斯坦福大学合作完成的《A Universal Law of Robustness via Isoperimetry》

论文地址：https://openreview.net/pdf?id=z71OSKqTFh7

作者：Sebastien Bubeck, Mark Sellke

获奖理由：这篇论文提出了一个理论模型来解释为什么许多先进的深度网络需要比平滑拟合训练数据所需更多的参数。特别是在关于training分布的某些规律性条件下，O(1)-Lipschitz 函数在标签噪声尺度以下插入训练数据所需的参数数量为nd，其中n是训练示例的数量，d是数据的分布。这个结果与传统的结果形成了鲜明的对比，传统的结果表明一个函数需要n个参数。对训练数据进行插值，为了平滑地插值，这个额外的因子d显得很必要。该理论简单而优雅，与一些经验观察到的模型大小一致，这些模型对MNIST分类具有鲁棒的泛化能力。这项工作也提供了关于为 ImageNet分类开发鲁棒模型所需的模型大小的可测试预测。

2. 由由DeepMind团队、普林斯顿大学计算机科学系和布朗大学计算机科学系合作完成的《On the Expressivity of Markov Reward》

论文地址：https://openreview.net/pdf?id=9DlCh34E1bN

作者：David Abel, Will Dabney, Anna Harutyunyan, Mark K. Ho, Michael L. Littman, Doina Precup, Satinder Singh

获奖理由：马尔可夫奖励函数是不确定性和强化学习下顺序决策的主要框架。这篇论文仔细、清晰地阐述了马尔可夫奖励何时足以使系统设计者能够根据它们对特定行为的偏好、对行为的偏好或对状态和动作序列的偏好来指定任务。论文作者通过简单的说明性示例证明，存在一些无法指定马尔可夫奖励函数来引发所需任务和结果的任务。幸运的是，研究人员发现，可以在多项式时间内确定所需设置是否存在兼容的马尔可夫奖励，如果存在，也存在多项式时间算法来在有限决策过程设置中构建这样的马尔可夫奖励。这项工作阐明了奖励设计的挑战，并可能开辟未来研究马尔可夫框架何时以及如何足以实现人类利益相关者所需的性能的途径。

3. 由由蒙特利尔大学MILA实验室和谷歌研究院大脑团队合作的《 Deep Reinforcement Learning at the Edge of the Statistical Precipice 》

论文地址：https://openreview.net/pdf?id=uqv8-U4lKBe

作者：Rishabh Agarwal, Max Schwarzer, Pablo Samuel Castro, Aaron Courville, Marc G. Bellemare

获奖理由：

方法的严格比较可以加速有意义的科学进步。本文提出了提高深度强化学习算法比较严谨性的实用方法：具体而言，新算法的评估应提供分层的引导程序置信区间、跨任务和运行的性能概况以及四分位数均值。该论文强调，在许多任务和多次运行中报告深度强化学习结果的标准方法可能使评估新算法是否代表过去方法的一致和可观的进步变得困难，并通过实证示例说明了这一点。所提出的性能摘要旨在通过每个任务的少量运行进行计算，这对于许多计算资源有限的研究实验室来说可能是必要的。

4. 由华盛顿大学、艾伦人工智能研究院、斯坦福大学合作完成的《MAUVE: Measuring the Gap Between Neural Text and Human Text using Divergence Frontiers》

论文链接：https://openreview.net/forum?id=Tqx7nJp7PR

作者：Krishna Pillutla, Swabha Swayamdipta, Rowan Zellers, John Thickstun, Sean Welleck, Yejin Choi, Zaid Harchaoui

获奖理由：本篇研究提出了MAUVE——一种用于比较模型生成文本分布和人工生成文本分布的散度度量。这个想法简约而不简单，它基本上使用了被比较的两个文本的量化嵌入（soft）KL 散度测量连续族。他们提出的MAUVE度量基本上是对连续度量系列的集成，旨在捕获第I类错误（生成不切实际的文本）和第II类错误（不捕获所有可能的人类文本）。实验表明，MAUVE识别了模型生成文本的已知模式，与之前的差异度量相比，并且与人类判断的相关性更好。这篇论文非常优秀，研究问题在开放式文本生成快速发展的背景下很重要，结果也很明确清晰。

5. 由法国巴黎 PSL 研究大学、洛桑联邦理工学院计算机与通信科学学院、洛桑联邦理工学院和 MSR-Inria联合中心合作完成的《 A Continuized View on Nesterov Acceleration for Stochastic Gradient Descent and Randomized Gossip 》

论文地址：https://openreview.net/pdf?id=bGfDnD7xo-v

作者：Mathieu Even, Raphaël Berthier, Francis Bach, Nicolas Flammarion, Pierre Gaillard, Hadrien Hendrikx, Laurent Massoulié, Adrien Taylor

获奖理由：

本文描述了Nesterov加速梯度方法的“连续”版本，其中两个独立的向量变量在连续时间内共同演化，这很像以前使用微分方程来理解加速度的方法，但研究人员使用了由泊松点过程决定的随机时间的梯度更新。这种新方法导致了（随机）离散时间方法：（1）与Nesterov方法具有相同的加速收敛性；(2) 带有利用连续时间参数的清晰透明的分析，这可以说比之前对加速梯度方法的分析更容易理解；(3) 避免了连续时间过程离散化的额外错误，这与之前使用连续时间过程理解加速方法的几次尝试形成鲜明对比。

6. 由魏茨曼科学研究所、Facebook AI研究院和加州大学洛杉矶分校共同合作的《Moser Flow: Divergence-based Generative Modeling on Manifolds 》

论文链接：https://openreview.net/pdf?id=qGvMv3undNJ

作者：Noam Rozen, Aditya Grover, Maximilian Nickel, and Yaron Lipman

获奖理由：

作者们提出了一种在黎曼流形上训练连续归一化流（CNF）生成模型的方法。关键思想是利用Moser（1965）描述了CNF（Moser称之为流形上的方向保持自同构）的解。这个解运用一类具有几何正则性条件的受限常微分方程，目标密度函数的散度显式定义。Moser Flow方法使用解决方案概念来开发基于参数化目标密度估计器（可以是神经网络）的CNF方法。训练相当于简单地优化密度估计器的散度，它回避运行 ODE 求解器（标准反向传播训练所需）。实验表明，与之前的CNF工作相比，训练时间更快，测试性能更好，并且在具有非恒定曲率的隐式曲面（如Stanford Bunny model）上建模密度。总的来说，利用几何规则性条件来避开昂贵的反向传播训练的概念可能具有更广泛的兴趣。

由普林斯顿大学和法国高等国家信息与自动化研究所共同完成的《Online Learning for Latent Dirichlet Allocation》，发表时间为2010年。

论文链接：https://proceedings.neurips.cc/paper/2010/file/71f6278d140af599e06ad9bf1ba03cb0-Paper.pdf

作者：Matthew D. Hoffman, David M. Blei, Francis Bach

获奖理由：

本文介绍了一种基于随机变分梯度的推理方法，用于在超大文本语料库上训练潜在的Dirichlet分配（LDA）模型。在理论方面，它验证了训练过程收敛于局部最优，出人意料的是，简单随机梯度更新对应于证据下限（ELBO）目标的随机自然梯度。在实证方面，作者首次表明，LDA可以轻松地在几十万个文档的文本语料库上进行训练，使其成为解决“大数据”问题的实用技术。这篇论文在ML社区产生了巨大的影响，因为它代表了更广泛模型一般随机梯度变分推理过程的第一块垫脚石。在本文之后，再也没有理由使用完整的批量训练程序进行变分推理了。

评选过程：

时间测试奖的设定是授予10年前NeurIPS会议论文的。2020年，评审委员审议了时间范围更宽泛的论文，选择2011年而非2010年的佳作。因此，今年组委会决定将获奖论文的选择实现限制为10年或11年。因为10年此次会议上发表的任何论文都没有获得时间检验奖，经过慎重考虑，将重点时限放在2010年。

委员会根据引文数量对NeurIPS 2010年的所有论文进行排名。制定了大约500篇引用量的临界值。在这标准下遴选了16篇文章。会议讨论中委员会的四名成员都支持一篇论文——《Online Learning for Latent Dirichlet Allocation》。每个委员会成员对这篇论文的评价排行都高于所有其他候选论文，以绝对优势高出第二预选论文，最终一致通过被评为时间检验奖。

今年，NeurIPS 推出了全新的“数据集与基准测试”评选流程。

审稿人打出分数确定了一份简短的论文列表，依据咨询委员会所有成员投票，从列表中评选出两篇最佳论文奖。

由加州大学洛杉矶分校、谷歌纽约研究院和谷歌洛杉矶研究院合作完成的《 Reduced, Reused and Recycled: The Life of a Dataset in Machine Learning Research 》

论文地址：https://openreview.net/pdf?id=zNQBIBKJRkd

作者：Bernard Koch, Emily Denton, Alex Hanna, Jacob Gates Foster

获奖理由：

这篇论文分析了数千篇论文并研究了不同机器学习子社区中数据集使用的演变过程，以及数据集采用和创建之间的相互作用。研究人员发现，在大多数社区中，随着时间的推移，使用更少的不同数据集会发生演变，并且这些数据集来自少数精英机构。这种演变是有问题的，因为基准变得不那么具有普遍性，存在于这些数据集来源中的偏见可能会被放大，新的数据集变得更难被研究团体接受。这对整个机器学习社区来说是一个重要的“警钟”，让他们更加批判性地思考哪些数据集可以用于基准测试，并将更多的重点放在创建新的、更多样化的数据集上。

由斯坦福大学、芝加哥大学和Flatiron研究院合作完成的《ATOM3D: Tasks On Molecules in Three Dimensions》

论文地址：https://openreview.net/pdf?id=FkDZLpK1Ml2

作者：Raphael John Lamarre Townshend, Martin Vögele, Patricia Adriana Suriana, Alexander Derry, Alexander Powers, Yianni Laloudakis, Sidhika Balachandar, Bowen Jing, Brandon M. Anderson, Stephan Eismann, Risi Kondor, Russ Altman, Ron O. Dror

获奖理由：

本文介绍了一组具有小分子和/或生物聚合物3D表示的基准数据集，用于解决广泛的问题，涵盖单分子结构预测、生物分子之间的相互作用以及分子功能和设计/工程任务。然后将3D模型简单而强大的应用与具有1D或2D表示的最新模型进行基准测试，并显示出比低维模型更好的性能。这项研究表述了如何为给定任务选择和设计模型的重要见解。这不仅提供了基准数据集，还提供了基线模型和开源工具来利用这些数据集和模型，大大降低了机器学习人员进入计算生物学和分子设计领域的门槛。

祝贺所有获奖者！

参考链接：

1. https://twitter.com/thegautamkamath/status/1465830407622955012

2. https://blog.neurips.cc/2021/11/30/announcing-the-neurips-2021-award-recipients/ 

雷峰网(公众号：雷峰网)雷峰网