直击｜ICLR 2017现场最令人瞩目的5个亮点｜ ICLR 2017

雷锋网【AI科技评论】按：为期3天的ICLR 2017深度学习顶会正在法国土伦召开，6场Invited Talk，15场Contributed Talk（oral paper）, 310个论文海报展示让任何人置身其中的时候，都不免产生一种信息量巨大，怎么看也看不完的错觉，雷锋网【AI科技评论】团队实地考察后，发现我们可以从现场的亮点中来理出一些对大会深入学习的蛛丝马迹。

大牛“满天飞”

ICLR 2017正式召开前，大会官网议程表里显示的只是几个简单的Invited talk(主题演讲)和Contributed Talk（口头论文演讲）的演讲者信息，丝毫不见其它大牛讲者的踪影。不过这个平凡感没维持太久，第一天（4月24号）上午的第2个Contributed Talk结束后，3楼主会议室的700多名听众不约而同地涌出会议室进入到外面的自由交流空间进入Poster Session（论文自由交流）环节，正好让刚刚“湮没”在主会议室的Yann LeCun, Yoshua Bengio, Ian Goodfellow等大牛都跻身在3楼自由讨论空间和大家来个“偶然邂逅”。譬如，AI科技评论在3楼某个不起眼的角落就看见了Yann LeCun正在和一个纽约大学的教授讨论刚刚结束的演讲主题，因为隔得比较近，我们顺势请教了LeCun教授关于ICLR的几个问题并要求了一个Yann LeCun教授的签名。

论文自由交流时间占比大 

大会召开的3天里，每天给论文自由交流的时间都占到了4小时。第一天为例，上午10:20的Contributed Talk结束后，一直持续到12:30前的2个小时都是论文自由交流时间；下午4:10的Contributed Talk结束后, 一直持续到6:30的2个小时都也是论文自由交流时间；

而且因为是开放的自由交流时间，不管你来自哪个学校或者机构，你都可以跟任何一个你想要交流的人讨论他的论文。图为雷锋网【AI科技评论】跟Contributed Talk：Amortised MAP In-ference for Image Super-resolution的第一作者Casper Kaae Sønderby在自由交流区请教问题后的摄像。

论文展区里潜龙卧虎 

310多个论文海报展示，因为场地有限，每一天的conference paper展区和workshop paper展区海报都必须置换一次，所以我们会看到非常刺激的一幕：各个知名学术大牛的学生们在他们论文展示当天非常耐心地讲解自己的论文。

下图为Yoshua Bengio学生团队讲解的论文。

下图为Facebook人工智能研究院的田渊栋在讲解论文。

下图为2016年ICLR最佳论文获得者韩松团队的斯坦福学生毛惠子在讲解论文。

讨论的东西很实用，在争议中寻求进步  

Contributed Talk或许是最能体现这次大会主题的东西，我们先来看看这3天的Contributed Talk标题。

第一天

Contributed talk 1: End-to-end Optimized Image Compression

Contributed talk 2: Amortised MAP Inference for Image Super-resolution

Contributed Talk 3: Understanding deep learning requires rethinking generalization - BEST PAPER AWARD

Contributed Talk 4: Large-Batch Training for Deep Learning: Generalization Gap and Sharp Minima

Contributed Talk 5: Towards Principled Methods for Training Generative Adversarial Networks

第二天

Contributed talk 1: Semi-supervised Knowledge Transfer for Deep Learning from Private Training Data - BEST PAPER AWARD

Contributed talk 2: Learning Graphical State Transitions

Contributed Talk 3: Learning to Act by Predicting the Future

Contributed Talk 4: Reinforcement Learning with Unsupervised Auxiliary Tasks

Contributed Talk 5: Q-Prop: Sample-Efficient Policy Gradient with An Off-Policy Critic

第三天

Contributed talk 1: Learning End-to-End Goal-Oriented Dialog

Contributed talk 2: Multi-Agent Cooperation and the Emergence of (Natural) Language

Contributed Talk 3: Making Neural Programming Architectures Generalize via Recursion - BEST PAPER AWARD

Contributed Talk 4: Neural Architecture Search with Reinforcement Learning

Contributed Talk 5: Optimization as a Model for Few-Shot Learning

相比AAAI这种综合性更强的学术会议， ICLR显然在深度学习的世界里奔跑地更加“纯碎”： 端到端优化的图像压缩，重新思考泛化，GANs，半监督学习，预测未来……从这些口头演讲的论文标题中的关键字，我们就可以看出这次演讲的东西都是深度学习学者相对熟悉的热词，虽然比不上生成式对抗网络GANs横空出世时的惊艳，不过总体观感这次会议讨论的话题开始趋于实用化。

另外比较有意思的是，其中有的口头演讲论文在大会之前就引起了很大争议，比如获得最佳论文的Understanding deep learning requires rethinking generalization 理解深度学习，需要重新思考泛化问题（这篇论文以「重新思考泛化问题」为主题，通过系统试验，展示传统方法无法解释大规模神经网络在实践中的泛化表现好的原因。而在实验中，研究者证明了用随机梯度训练、用于图像分类的 CNN 很容易拟合随机标签数据，而且本质上并不受显式正则化的影响。）在最终的评审结果里它得到的反馈是－“作者在论文中阐述了深度神经网络拟合随机标签数据的能力，并给出了非常不错的实验结果。这个调查不仅全面，也具有启发意义。……‘ 但也有人在 OpenReview 上公开对这篇论文提出了不同意见。

不过从现场反馈来看，正是这些争议反而让我们看到了一个生动，更真实的ICLR。

华人创新力量不可小觑

入选ICLR oral论文中的3篇里的华人创新力量，包括Contributed Talk:Understanding deep learning requires rethinking generalization的论文第一作者张驰原; Contributed Talk:Amortised MAP In-ference for Image Super-resolution论文团队里的施闻哲； Contributed Talk : Q-Prop: Sample-Efficient Policy Gradient with An Off-Policy Critic论文团队里的顾世翔，从以上大家有所耳闻的3位，再到论文海报展区背后的Facebook华人实习生，跟英伟达合作的斯坦福华人学生，前来参展的国内企业等，我们看到华人创新力量正在各自专注的领域获得越来越好的成绩。就像获得ICLR最佳论文的张驰原在现场做Contributed Talk演讲的时候，清晰的逻辑，生动的PPT展示方法，回答现场质疑的冷静幽默，让现场出现了几次掌声雷动的场景，这情形不亚于一群娴熟导师发现新大陆时的震撼和惊喜。

小结

从初次签到时会场的“简陋”，到第二天大牛“满天飞”的戏剧性反转之后，再到后面无穷无尽的论文讨论。大家会发现这是一个非常重视“基于论文沟通交流”的学术大会，而不是单纯做做样子。主会议室演讲的大部分主题让给了论文，业界公司过来展示版面让给了论文，论文海报展示区前的大部分人也是为了沟通交流而来。对于那些狂热的学习交流分子来说，下图中涌动的人头就是他们心中最美的画面。