ICML 上有19场 DeepMind的论文演讲，多到看不过来了 | ICML 2017

雷锋网 AI 科技评论按：ICML 2017马上就要在悉尼举行了。ICML （International Conference on Machine Learning）与每年年底举行的NIPS（Conference on Neural Information Processing Systems）是机器学习与人工智能研究领域影响力极高的两个主要会议，另外上半年举行的 ICLR（International Conference on Learning Representations）也有后来居上的趋势。

ICML 2017的会议时间是8月6日到8月11日，悉尼的跟北京的时差也仅仅有两个小时而已，所以很快就要到了。其实 ICML 2017 接收论文名单早在5月就公布了，不过 DeepMind 还是想提醒参会者们关注一下自己的论文，所以今天在自己研究 blog 上发出了一份论文演讲清单。

这份清单中一共有 19 篇论文，也就是 19 个论文演讲，其实 DeepMind 在此届 ICML 上收录的论文本来也有25篇之多。一个 19 篇论文的清单太长了，以至于 DeepMind 都把这份清单分成了3篇来发。

论文这么多，雷锋网 AI 科技评论这里为大家简单介绍其中3篇。

Sharp Minima Can Generalize For Deep Nets

• 深度神经网络中尖锐的最小值也可以让模型具有泛化能力

• 论文作者：Laurent Dinh (Univ. Montreal), Razvan Pascanu, Samy Bengio (Google Brain), Yoshua Bengio (Univ. Montreal)

• 论文简介：虽然深度学习架构的过拟合能力强得过头了一点，不过它们对于全新数据的泛化能力还是相对不错的，这样就可以用它们来解决一些实际问题。然而，解释这种状况背后的机理仍然是研究中的一个富有开放性的问题。有一种假设最近得到了越来越多的关注，就是基于随机梯度的方式找到的损失函数的最小值，它的平滑度越高，模型的泛化性能就越高。这篇论文提出了这样的观点：多数关于平滑度的想法对于深度神经网络都不贴切，而且没办法直接用来解释泛化性。具体讨论带有激活函数的深度神经网络的话，可以得出由继承对称性引出的这些网络架构的参数空间的特定几何结构，利用这些几何结构可以构建出跟任意更尖锐的最小值等效的模型。更进一步地，如果允许对一个函数重新参数化，它的参数几何结构可以大幅度变化，但并不影响它的泛化属性。

• 论文地址：https://arxiv.org/abs/1703.04933 

• 论文演讲：Monday 07 August, 11:06-11:24 @ C4.8 

• 海报地址：Tuesday 08 August, 18:30-22:00 @ Gallery #3

Learning to learn without gradient descent by gradient descent

• 无需梯度下降的梯度下降，学会一个会学习的模型

• 论文作者：Yutian Chen, Matthew Hoffman, Sergio Gomez, Misha Denil, Timothy Lillicrap, Matthew Botvinick , Nando de Freitas（全部都是 DeepMind 英国团队成员）

• 论文简介：借助梯度下降的方法，可以用简单的生成函数训练，学到循环神经网络（RNN）优化器。可以表明，这些学到的优化器展现出了相当高的迁移能力，它们可以用来高效地优化很多种不可导的“黑盒”函数，包括 bandit 环境下的高斯过程、简单控制对象、全局优化benchmark和超参数调节任务。在训练层面上，学到的优化器可以学会在应用和探索中找到平衡，并且根据自己的偏好在高度工程化的贝叶斯优化方法集中选择适合做超参数调节的方法。

• 论文地址：https://arxiv.org/abs/1611.03824 

• 论文演讲：Monday 07 August, 17:15-17:33 @ Darling Harbour Theatre

• 海报地址：Tuesday 08 August, 18:30-22:00 @ Gallery #6

• 雷锋网 AI 科技评论注：这篇论文的名字很有特点，而且论文一作也是华人，我们已经叮嘱了前方记者特别关注一下，请期待我们的好消息

Neural Audio Synthesis of Musical Notes with WaveNet Autoencoders

• 用 WaveNet 自动编码器神经网络生成乐音

• 论文作者：Sander Dieleman, Karen Simonyan, Jesse Engel (Google Brain), Cinjon Resnick (Google Brain), Adam Roberts (Google Brain), Douglas Eck (Google Brain), Mohammad Norouzi (Google Brain)

• 论文简介：在算法进步和高质量图像数据集这两个因素的帮助下，视觉方面的生成式模型已经得到了快速的发展。这篇论文为音频领域的这两个因素都做出了贡献，以便音频模型也可以有更大的发展空间。首先，作者们详细介绍了一个优越的新型 WaveNet 样式的自动编码器模型，它对应着一个能从原始音频波形学到临时编码的自回归解码器。其次，作者们介绍了 NSynth，这是一个大规模、高质量的音乐数据集，它比现有的公开数据集规模要大一个数量级。借助 NSynth，论文中展现出，相比一个完善优化过的频谱自动编码器基准模型， WaveNet 自动编码器在定量和定性表现上都有提高。最后，论文表明这个模型可以学到多种embedding，从而可以在乐器之间转化、在音色中做有意义的插值，创造出真实动人的新的类型的声音。

• 论文地址：https://arxiv.org/abs/1704.01279 

• 论文演讲：Tuesday 08 August, 14:42-15:00 @ Parkside 1

• 海报地址：Tuesday 08 August, 18:30-22:00 @ Gallery #98

其它 16 篇演讲论文

• Decoupled Neural Interfaces using Synthetic Gradients

• https://arxiv.org/abs/1608.05343 

• Parallel Multiscale Autoregressive Density Estimation

• https://arxiv.org/abs/1703.03664 

• Understanding Synthetic Gradients and Decoupled Neural Interfaces

• https://arxiv.org/abs/1703.00522 

• Minimax Regret Bounds for Reinforcement Learning

• https://arxiv.org/abs/1703.05449 

• Video Pixel Networks

• https://arxiv.org/abs/1610.00527 

• Why is Posterior Sampling Better than Optimism for Reinforcement Learning?

• https://arxiv.org/abs/1607.00215 

• DARLA: Improving Zero-Shot Transfer in Reinforcement Learning

• http://arxiv.org/abs/1707.08475 

• Automated Curriculum Learning for Neural Networks

• https://arxiv.org/abs/1704.03003 

• A Distributional Perspective on Reinforcement Learning

• https://arxiv.org/abs/1707.06887 

• A Laplacian Framework for Option Discovery in Reinforcement Learning

• http://proceedings.mlr.press/v70/machado17a/machado17a.pdf 

• Cognitive Psychology for Deep Neural Networks: A Shape Bias Case Study

• https://arxiv.org/pdf/1706.08606.pdf 

• Count-Based Exploration with Neural Density Models

• https://arxiv.org/abs/1703.01310 

• The Predictron: End-to-End Learning and Planning

• https://arxiv.org/abs/1612.08810 

• FeUdal Networks for Hierarchical Reinforcement Learning

• https://arxiv.org/abs/1703.01161 

• Neural Episodic Control

• https://arxiv.org/pdf/1703.01988.pdf 

• Neural Message Passing Learns Quantum Chemistry

• https://arxiv.org/abs/1704.01212 

对后16篇论文演讲时间和海报地点感兴趣的读者，可以访问 DeepMind 原博具体查看。这里是论文清单3篇里第一篇的地址，在文末有指向另外两篇的链接。

不能亲临 ICML 2017 的读者，可以先看看以上的论文，并期待我们的会议相关报道；能够到现场的呢，雷锋网 AI 科技评论就跟你们现场见！

相关文章：

科技公司争相涌进ICML 2017，论文数占1/4，Google独占6.3％

刘铁岩团队ICML论文提出机器学习的新范式：对偶监督学习