雷锋网【AI科技评论】报道,法国当地时间4月25日,2017年国际学习表征会议(ICLR 2017)继续如火如荼地进行中,oral/conference/workshop等环节持续更新更多论文展示。而放眼望去,Google Brain、NYC的标志异常显眼。
通过论文的展示环节,我们看到了许多年轻的创新型人才,在奔赴深度学习的各个研究领域。而不可忽视的是,隐藏在这些论文背后的先驱大牛们,他们仍在以育人育树的姿态为人工智能研究贡献力量。他们指导的论文,部分会成为大会的明星论文,也有值得一读但被会议拒绝的作品,这些研究继续在这个学术平等的平台上接受挑战。
论文研讨现场
ICLR-2017 最佳论文《泛化——一个理解深度学习需要重新思考的问题》从发表之日起就引起了学界激起了热烈的讨论和广泛的关注——根据 Twitter 上的讨论,这篇论文的 ICLR 得分相当高,最后也当选成为本届ICLR最佳论文,进入oral环节。
而这篇论文的联合作者虽并非赫赫有名的大神们,但学术积累深厚也不容忽视,包括谷歌大脑的 Samy Bengio(是的,就是常说的大神YoshuaBengio的兄弟),和此前在谷歌大脑工作,现在是 DeepMind 研究员的 Oriol Vinyals,以及其他UC伯克利分校的电子工程和计算机科学以及统计系副教授Benjamin Recht等。
除此之外,在第一天的口头展示演讲中,由霍华德休斯医学研究所、纽约大学神经学、数学、心理学系的教授,IEEE fellow Eero Simoncelli联合创作的论文《端到端优化图像压缩》也获得学界的青睐,大会评审中称其为“接受的论文中最好的两篇之一”,并获得9 分的评级,在全部入选论文中排名 Top 15%。
而另一篇引起学界火热的论文《生成对抗网络的创造性训练方法》,其背后联合署名的导师来历同样不同小觑——他是与Yoshua Bengio同为蒙特利尔大学,也是目前是仅存的几个仍然全身心投入在学术界的深度学习教授之一 Leon Bottou。
一般而言,国内外人工智能学术性会议的主题演讲部分都倾向于邀请声明在外的老学者,营造出非常浓烈的专家顶会效应,但这无疑是忽略了对创新力量的发掘和培育。而与此不同,ICLR设置的keynotes中每天只有两场嘉宾邀请的invited talk,其余大部分为由年轻创新研究者主讲的contributed talk,与此同时,包括以上明星论文,不细究一番,听众都很难知道这背后隐藏着什么人。
众所周知,ICLR创立的定位就在于打造一个开放、“基于论文沟通交流”的学术大会,从这里走出了许多新生代的研究主力,为人工智能研究的发展注入更强的动力。举个例子,现任深鉴科技首席科学家韩松,他在2016年ICLR上获得“最佳论文”并做contributed talk时,尚是一个博士研究生,今年才即将毕业。
众所周知,ICLR开创了开放公开的论文评审机制,创办者、纽约大学教授Yann LeCun对雷锋网【AI科技评论】表示,论文评审接受主要遵循三个原则:具有能够发散研究思维的创新想法、有良好的结果、想法具有可实操性。
然而,据雷锋网【AI科技评论】了解,在本届论文评选过程中,也不乏大牛因种种原因而论文被拒的情况,包括Yann LeCun、Yoshua Bengio教授等在内的论文。比如,Yann LeCun教授的“Eigenvalues of the Hessian in Deep Learning: Singularity and Beyond”,Yoshua Bengio的“A Neural Knowledge Language Model”、“Hierarchical Memory Networks”等等。
会场上资深研究人士表示,人工智能有了数十年的发展,但革新最快的领域以深度学习为先,而在这个领域中的研究,并非资历越老创新越快。该人士表示,对比往年,2017年的ICLR最大的特点是变化大、发展快,但同时新理论的实践仍存在方法论有待突破和完善的地方,因此最擅长或者最快产生成果的还有可能是年轻创新力量。
因此从这个角度讲,大会也产生了一定程度“大牛祛魅”的效应。面对论文评审的争议,LeCun教授直言,“争议是个好东西。”
当然,除了优秀论文和被拒绝两个极端,在全场三天多达310篇论文的conference和workshop中,也隐匿着许多来自巨头和大牛的论文。
据雷锋网【AI科技评论】编辑现场了解,随意放眼望去,就看到了来自Yoshua Benbio、Geoffrey Hinton、Yan Lecun以及GAN之父 Ian Goodfellow与Samy Bengio联名的workshop或conference论文,与众多论文一起,接受研究者的讨论。