资讯 人工智能开发者
此为临时链接,仅用于文章预览,将在时失效

AI专家们推荐的“必读”论文 【Part 2】

作者:AI研习社-译站
2020/12/03 10:52

译者:AI研习社(季一帆

双语原文链接:‘Must-Read’ AI Papers Suggested by Experts - Pt 2


AI专家们推荐的“必读”论文 【Part 2】

我们之前写了一篇文章,向大家推荐了一些AI必读论文,引起很好的反响。现在,我们推出了第二篇文章。这次推荐的论文依然是分量十足、诚意满满,各位推荐者都认为自己推荐的论文是AI人员必读的经典之作,不知各位读者怎么看。现在,我们来看看这次入选的是哪些论文吧!

不过在这之前,我还是向您推荐我们之前的那一篇文章,那篇文章也绝对值得一读。


推荐人:MILA博士研究员,Alexia Jolicoeur-Martineau

推荐论文1:f-GAN: Training Generative Neural Samplers using Variational Divergence Minimization (f-GAN: 使用变分散度最小化训练生成神经采样器)- Sebastian Nowozin et al.

https://arxiv.org/pdf/1711.04894.pdf

Alexia提出可以将若干分类器视为估计f散度,于是,GAN可以被解释为最小化估计和散度。在论文中,Microsoft Research的研究人员详细介绍了相关工作、论文方法和实验验证。阅读原文获取更多信息。

推荐论文2:Sobolev GAN - Youssef Mroueh et al.

https://arxiv.org/pdf/1711.04894.pdf 

本文将WGAN-GP中的梯度范数惩罚视为约束鉴别器,从而使其unit-ball具有梯度。论文的数学论证极其复杂,但我们只要记住,关键在于可以对鉴别器添加各种各样的约束。这些限制条件可以防止鉴别器过分严格。论文中的Table1非常重要,我曾数次翻阅该论文,只为查看Table1,该表显示了可用的各种不同约束。阅读原文获取更多信息。


推荐人:DeepMind高级研究员,Jane Wang

老实说,我并不会觉得有哪篇论文要比其他论文更重要,因为我认为所有论文都是相互依存的,而科学是协作的成果。但还是要说,就我个人而言,还是会更加偏爱一些论文的,从这些论文中我受益匪浅,但这并不是说其他论文不好。这只意味着,我个人比较喜欢以下两篇论文。

推荐论文1:Where Do Rewards Come From? (奖励从何而来?)- Satinder Singh et al.

https://all.cs.umass.edu/pubs/2009/singh_l_b_09.pdf 

本文提出了一种通用的奖励计算框架,在给定适应度函数和环境分布的情况下,该框架给出了最优奖励函数的概念。实验结果表明,在此最佳奖励函数中,传统的外在和内在行为概念均有体现。阅读原文了解更多信息。

推荐论文2:Building machines that learn and think like people (让机器向人类一样学习与思考)- Brenden Lake et al

https://www.cambridge.org/core/journals/behavioral-and-brain-sciences/article/building-machines-that-learn-and-think-like-people/A9535B1D745A0377E16C590E14B94993 

本文回顾了认知科学的进展,表明要想实现真正像人类一样学习和思考的机器,需要当前研究的创新性改进。具体来说,我们认为这样的机器应具有以下能力:1)建立可解释的、可理解的世界因果模型,而不仅仅是解决模式识别问题;2)在物理学和心理学层面进行学习,以支持和丰富机器所学知识;3)利用相关性以及学会学习使机器快速获取知识,并扩展到新的任务和情况。阅读原文了解更多信息。


推荐人:WinterLight Labs机器学习负责人,Jekaterina Novikova

推荐论文1:Attention Is All You Need (“笨蛋”,根本问题是注意力)- Ashish Vaswani et al.

https://arxiv.org/abs/1706.03762 

在NLP科学家于2017年提出"Attention is All You Need"之后,BERT或GPT-2 / 3等大型预训练语言模型如雨后春笋般出现。这些模型令人称奇的结果不仅引起了ML / NLP研究人员的强烈关注,在公众中也引起波澜。例如,2019年,OpenAI宣称GPT-2“太过危险而不能公开”,这说法简直让人抓狂,但事实是,GPT-2确实能够生成与真实新闻无法区分的假新闻。几周前发布的GPT-3甚至被称为“自比特币以来最大的新闻”。阅读原文了解更多信息。

推荐论文2:Climbing towards NLU: On Meaning, Form, and Understanding in the Age of Data (迈向NLU:关于数据时代的意义,形式和理解)- Emily M. Bender et al.

https://www.aclweb.org/anthology/2020.acl-main.463.pdf 

AI大热,但我希望向你泼点冷水,冷静下来好好看看2020年7月ACL会议的最佳主题论文-“迈向NLU:关于数据时代的意义,形式和理解”。作者认为,尽管现有模型(例如BERT或GPT)成果丰硕,但与人类相比,很难说它们是理解了语言及其含义。作者解释道,理解是人们在交流中,根据所说话语明白对话意图时发生的。这样,如果仅仅是语言文字,没有现实生活中的交互作用,则不可能学习和理解语言。换句话说,“从一定形式中是学习不到意义的”,这就是为什么即使巨大且复杂的语言模型也只是学习意义的“映射”,而不能了解意义本身。阅读原文了解更多信息。


推荐人:加拿大国家银行,AI科学首席顾问,Eric Charton

推荐论文1:The Computational Limits of Deep Learning (深度学习中的计算极限)- Johnson et al

https://arxiv.org/abs/2007.05558 

麻省理工学院和IBM Watson Lab发表的这篇论文对DL出版文献进行汇总分析,介绍了DL模型训练计算量的增加与其性能表现间的相关性。同时论文指出,随着计算能力的提高,模型性能改善呈放缓趋势。阅读原文了解更多信息。

推荐论文2:Survey on deep learning with class imbalance(关于类别不平衡的DL综述). Journal of Big Data, 6(1), 27.

https://link.springer.com/article/10.1186/s40537-019-0192-5 

该论文汇总介绍了不同DL算法是如何处理类别不平衡问题,该问题存在于信用建模、欺诈检测或医学检测/癌症检测等各种工业应用中。论文对不同方法进行比较分析,并着重介绍了各种方法处理类别不平衡数据的差异,为进一步的研究指明方向,阅读原文了解更多信息。


推荐人:NASA,机器学习主管,Anirudh Koul

也许几年后回头看,人们会发现2020年似乎是自我监督元年。自监督学习就是用非标注数据进行预训练,然后在有限标注的下游任务进行微调。仅在2020年6月之前,众多SOTA被先后打破,包括但不限于PIRL,SimCLR,InfoMin,MOCO,MOCOv2,BYOL,SwAV,SimCLRv2等众多自监督学习方法引起广泛关注。通过以下这个例子来感受一下这些方法究竟多么让人称奇吧。仅仅使用不带标签的ImageNet,然后用1%的标签进行微调,SimCLRv2模型就可以在ImageNet数据集上实现92.3%的Top-5准确性。很神奇吧,仅仅1%的标注就可以取得这样令人满意的结果。对于缺少标注数据的领域如医学、卫星等来说,自监督学习就是这些领域应用的福音。

推荐论文:A Simple Framework for Contrastive Learning of Visual Representations (一个简单的图像表示对比学习框架)- Ting Chen et al

https://www.aclweb.org/anthology/2020.acl-main.463.pdf  

优秀的论文不仅实验严密、结果出色,而且还能简介明了的向读者清晰的表达自己的关键思想。SimCLR就是如此,简洁明了,效果出色,这使其成为对比学习领域最值得阅读论文之一。研究表明,在特定数据集中,通过数据增强策略获得更好的图像表示,对于对比学习至关重要。希望更多研究者关注到SimCLR,在X射线、MRI、音频、卫星图等领域推动该方法进一步的研究与发展。


推荐人:摩根士丹利副总裁,NLP/ML研究员,Oana Frunza

Revealing the Dark Secrets of BERT (BERT探秘)- Olga Kovaleva et al.

https://arxiv.org/abs/1908.08593 

BERT Transformer结构极大推进了机器对文本数据的表示和理解能力,对于NLP的研究发展具有革命性的意义,可以说这就是NLP的“ImageNet”。Transformer架构的关键在于自我注意机制,“BERT揭秘”一文便对注意力的背后原理进行了探讨。

更准确地说,这项研究量化了注意力头捕获的语言信息,包括句法和语义关系等。此外,论文还进一步研究了自我注意模式的多样性及其对各种任务的影响。

该论文的研究聚焦于深层次理解强大的transformer架构,不仅利于推动该领域的进一步发展,而且有利于研究人员做出更明智的决策。也就是说,如果知道某些精简的小型体系结构会产生相似的性能,这就意味着在架构设计和空间占用方面有了更好的选择。

阅读原文了解更多信息。


推荐人:捷豹路虎,高级数据科学家,Tamanna Haque

推荐书籍:Deep Learning with R (R语言深度学习)- François Chollet et al.

本文从概念到实践对深度学习进行详细介绍,对于理解深度学习具有重要帮助。由于黑匣子性质,神经网络不仅训练成本高昂,而且不具可解释性。同时,最近数据保护法规的更改将推动可解释AI的研究,神经网络受到挑战。

尽管如此,在某些商业应用中,只有神经网络才能有效地完成工作,因此掌握神经网络技术依然至关重要。在我使用R语言进行一年左右的深度学习研究与实践中,本书是我的良师益友,指导我熟练地使用神经网络并完成图像识别项目。


推荐人:伯克利数据科学学院,首席ML科学家兼ML/AI负责人,Mike Tamir

推荐论文1:Right for the Wrong Reasons: Diagnosing Syntactic Heuristics in Natural Language Inference(错误的真正原因:自然语言推理中的启发式句法诊断)

我推荐的第一篇论文是MaCoy,Pavlick和Linzen的“错误的真正原因:自然语言推理中的启发式句法诊断”,论文表明transformer架构显著推动了自然语言推理等NLU任务的进步。在技术研究之外,“错误的真正原因”强调了基于当前数据集的系统缺陷,这在NLU任务中是致命漏洞。本论文将提醒AI从业者和研究人员保持清醒与理智。阅读原文了解更多信息。

推荐论文2:Emergence of Invariance and Disentanglement in Deep Representations(深度表示中的不变和解耦)

我推荐的第二篇论文是关于DL信息瓶颈分析的,也就是Achille和Soatto的研究成果“深度表示中的不变和解耦”,阅读博客了解详细信息。


推荐人:蒙特利尔AI伦理研究所,创始人,Abhishek Gupta

https://montrealethics.ai/the-state-of-ai-ethics-report-june-2020/  

推荐论文The State of AI Ethics ReportAI伦理道德报告)

在蒙特利尔AI伦理研究所,我们一直在关注一些最具影响力的论文,这些论文不仅关注AI伦理的常见问题,而且基于经验科学并能指导实践。为此,我们将过去一个季度的工作整理成《 AI伦理道德报告,2020年6月》,用于指导该领域的研究人员和从业人员在实践过程中遵守AI伦理责任。该报告的内容包括但不限于,NLP模型中对残疾人的社会偏见,YouTube反馈回路的潜在缺陷,AI治理,即在AI中实施道德规范的整体方法以及对抗性机器学习-行业观点。阅读原文了解更多信息。


AI系统与策略实验室,首席AI科学家,Jack Brzezinski

推荐论文:The Discipline of Machine Learning(机器学习学科建设)

http://www.cs.cmu.edu/~tom/pubs/MachineLearning.pdf  

本文简要介绍了机器学习学科建设纲要,机器学习要解决的基本问题和与其他科学和社会的关系,以及进一步的发展方向。阅读原文了解更多信息。


AIRAmed,机器学习工程师,Diego Fioravanti

推荐论文:Overfitting(过拟合)

https://en.m.wikipedia.org/wiki/Overfitting

Diego认为AI人员要对“过拟合”有清晰完整的了解。本文涉及内容涵盖统计推断,回归等。阅读原文了解更多内容。


AI研习社是AI学术青年和AI开发者技术交流的在线社区。我们与高校、学术机构和产业界合作,通过提供学习、实战和求职服务,为AI学术青年和开发者的交流互助和职业发展打造一站式平台,致力成为中国最大的科技创新人才聚集地。

如果,你也是位热爱分享的AI爱好者。欢迎与译站一起,学习新知,分享成长。

AI专家们推荐的“必读”论文 【Part 2】

长按图片保存图片,分享给好友或朋友圈

AI专家们推荐的“必读”论文 【Part 2】

扫码查看文章

正在生成分享图...

取消
相关文章