从左至右：Google AI 主管 Jeff Dean，加州大学伯克利分校教授 Celeste Kidd，Pythorch 主管 Soumith Chintala，Nvidia 机器学习研究主管 Anima Anandkumar，以及 IBM 研究总监 Dario Gil
人工智能不再准备在未来某一天改变世界——它正在改变世界。在新的十年开始之际，VentureBeat 采访了人工智能界最敏锐的头脑，重新审视 2019 年取得的进展，并展望 2020 年机器学习的成熟路径。我们采访了 PyTorch 的创建者 Soumith Chintala、加州大学教授 Celeste Kidd、Google AI 主管 Jeff Dean、Nvidia 机器学习研究主管 Anima Anandkumar 和 IBM 研究主管 Dario Gil。
每个人都有对来年的预测，但这些人创造了今天的未来——在人工智能界拥有权威的个人，他们过去取得了辉煌的成绩。尽管一些人预测了半监督学习和神经符号方法等子领域的进展，但事实上，所有与 VentureBeat 交谈过的智囊都同意，2019 年，基于 transformer 的自然语言模型取得了巨大进展，并预测在类似技术的面部识别方面将继续存在争议。他们还希望人工智能技术的评价标准不仅仅是准确性。
Soumith Chintala
Soumith Chintala，Pythorch 董事、总工程师、创始人。
目前，PyTorch 是当今世界上最流行的机器学习框架。PyTorch 是 2002 年推出的 Torch 开源框架的衍生产品，于 2015 年面世，并在扩展中稳步增长。
2019 年秋天，Facebook 发布了 PyTorch 1.3，其中包括量化和 TPU 支持，以及 Captum（一个深度学习的可解释性工具）和 PyTorch Mobile。当然还有其它东西，比如 PyRobot 和 PyTorch Hub，用于共享代码和鼓励 ML 实践者接受可复制性。
在 Pythorch 开发者与 VentureBeat 的一次对话中，Chintala 说，他认为 2019 年机器学习几乎没有什么突破性进展。
「实际上，我不认为我们做出了什么突破性的成果……基本上从 transformer 开始就这样了。2012 年是 ConvNets 的黄金时间，而对 transformer 来说则是在 2017 年左右。这是我个人的看法。」
他接着称，DeepMind 的 AlphaGo 在强化学习方面的贡献是开创性的，但他表示，这些成果很难在现实世界中用于处理实际任务。
Chintala 还认为，机器学习框架的发展，当今 ML 从业者中最受欢迎的工具，如 Pythorch 和 Google 的 TensorFlow，已经改变了研究人员探索自己的想法和工作的方式。
他说：「从某种意义上说，这是一个突破，它们使技术的发展速度比过去快了一两个数量级。」。
今年，Google 和 Facebook 的开源框架引入了量化来提高模型训练速度。在未来的几年里，Chintala 预计 Pythorch 的 JIT 编译器和 Glow 等神经网络硬件加速器的重要性和采用率将出现「爆炸式增长」。
「根据 PyTorch 和 TensorFlow，你会发现框架是有点趋同的。量化以及其他一些较低效技术出现的原因，是因为下一场战争在框架的编译器上——XLA、TVM、Pythorch 已经非常出色，很多创新正在等待发生。在接下来的几年里，你将看到如何更智能地量化，如何更好地融合，如何更有效地使用 GPU，以及如何使用新硬件自动编译。」。
与 VentureBeat 为本文采访的大多数其他行业领袖一样，Chintala 预测，到 2020 年，人工智能社区将更加重视人工智能模型的精度以外的性能，并开始将注意力转向其他重要因素，如创建模型所需的消耗、如何向人类解释输出以及人工智能如何更好地反映出人们想要建立的那种社会。
「如果你回想过去的五、六年，我们只关注精确性和原始数据，比如英伟达的模型是否更精确吗、Facebook 的模模型准确性如何。但实际上，我认为 2020 年将是我们开始以更复杂的方式思考的一年，如果你的模型没有良好的互操作性机制（或满足其他标准），那么它是否更精确 3% 并不重要。」
Celeste Kidd
CelesteKidd 是加州大学伯克利分校 Kidd 实验室的主任，她和她的团队在那里探索孩子们是如何学习。他们正试图用与抚养孩子不太相似的方式来训练模型，这项研究有助于构建神经网络。
她说：「人类婴儿没有被标记的数据集，但他们做得很好，我们必须了解这是如何发生的。」。
2019 年让 Kidd 感到惊讶的一件事是，有很多神经网络创造者随意贬低她或其他研究人员的工作，认为他们无法做婴儿能做的事情。
她说，当你把婴儿的行为平均化时，你会看到他们理解一些事情的证据，但他们绝对不是完美的学习者。
她说，人类的婴儿很棒，但他们犯了很多错误，她看到的很多比较实验都是人们随便做的，他们在人口层面上把婴儿的行为理想化。「我认为，你现在所知道的和你下一步想了解的事情之间的联系可能会越来越受到重视。」
在人工智能中，「黑匣子」这个词已经存在多年了。它被用来批评神经网络缺乏可解释性，但 Kidd 认为， 2020 年可能意味着神经网络不可解释观念的终结。
她说：「关于黑匣子的争论是假的，大脑也是黑匣子，我们在理解大脑如何工作方面取得了很大进展。」。
为了解开这种对神经网络的认识，Kidd 将目光投向了像 MIT-IBM Watson AI Lab 执行主任 Aude Oliva 这样的人。
「我们讨论这个问题时，我说了一些关于这个系统是一个黑匣子的事情，她却说他们肯定不是黑匣子。当然，你可以把它们拆解开，看看它们是如何工作的，并对它们进行实验，就像我们理解认知一样。」Kidd 说。
上个月，Kidd 在全球最大的人工智能研究会议——NeurIPS 上发表了开幕主题演讲。她的演讲集中在人类大脑如何坚持信念、处理注意力系统和进行贝叶斯统计。
她说，传递信息的黄金地带介于一个人的兴趣和理解令他们惊讶的事情之间。人们往往不太喜欢过于惊人的内容。
她接着说，因为没有中立的技术平台，她把注意力转向研究内容推荐系统的制造商如何操纵人们的信仰。系统建立在追求最大参与度的基础上，可以对人们形成的信念和观点产生重大影响。
Kidd 在演讲结束时谈到了机器学习中某些男性的误解，即他们认为与女性同事单独相处会导致性骚扰指控，结束男性的职业生涯。她说，这种误解会损害女性在这一领域的事业。
因在罗切斯特大学公开发表性不端行为，Kidd 与其他女性一起在 2017 年被评为「时代人物」，这些女性帮助促成了我们现在的「平等对待妇女的 MeToo 运动」。但在当时，Kidd 本以为这会结束她的职业生涯。
2020 年，她希望看到人们对技术工具和技术决策的现实影响的认识有所提高，并且工具制造商需要对人们使用工具的行为负责。
她说：「我听到很多人试图为自己辩护，说『我不是真相的操控者』。我认为必须提高人们对这种不诚实态度的认识。」
「作为一个社会人，特别是正在开发这些工具的人们，确实需要意识到随之而来的责任。」
Jeff Dean
Dean 领导 Google AI 已经将近两年了，他在谷歌工作了 20 年，是该公司许多早期搜索和分布式网络算法的设计师，也是 Google Brain 的早期成员。
Dean 上个月在 NeurIPS 发表了关于 ASIC 半导体设计的机器学习和人工智能社区解决气候变化的方法的演讲，他说这是我们这个时代最重要的问题。在谈到气候变化时，Dean 认为人工智能可以努力成为一个零碳产业，也可以用来帮助改变人类的行为。
他预计 2020 年在多模态学习和多任务学习领域将取得进展。
毫无疑问，2019 年最大的机器学习趋势之一是基于 Transformer 的自然语言模型的持续增长和扩散，Chintala 模型此前被称为近年来人工智能领域最大的突破之一。2018 年，谷歌开源 BERT，这是一个基于 Transformer 的模型。而据 GLUE 排行榜，今年发布的一些表现最好的机型，比如谷歌的 XLNet、微软的 MT-DNN 和 Facebook 的 RoBERTa，它们都是基于 Transformer 的。
Dean 指出了已经取得的进展，他说：「我认为在实际产生机器学习模型方面已经取得了相当丰硕的成果，这些模型让我们现在能做比过去更复杂的 NLP 任务。」但他补充说，这还有增长的空间。「我们仍然希望能够做更多的上下文类型的模型。和现在一样，BERT 和其他模型可以很好地处理数百个单词，但不能将 10000 个单词作为上下文。所以这是一个有趣的方向。」
Dean 说，他希望看到不要太看重最新技术的微小进步，这有利于创建更健壮的模型。
Google AI 还将致力于推进新的研究，比如 DailyRobot，这是一个于 2019 年 11 月推出的内部项目，旨在制造能够在家庭和工作场所完成共同任务的机器人。
Anima Anandkumar
英伟达机器学习研究总监 Anima Anandkumar 同时在 AWS 担任首席科学家。Nvidia 的人工智能研究涉及许多领域，从医疗保健的联合学习到自动驾驶、超级计算机和图形。
英伟达和 Anandkumar 在 2019 年的一个重点研究领域是强化学习的模拟框架，该框架正变得越来越流行和成熟。
2019 年，我们看到了英伟达的 Drive autonomus 驾驶平台和 Isaac 机器人模拟器的崛起，以及从生成对抗网络生成合成数据的模型。
去年，类似人工智能的 StyleGAN（一种可以让人们质疑自己是在看电脑生成的人脸还是真人的网络）和 GauGAN（可以用画笔生成风景）也开始兴起。StyleGAN2 于上个月首次亮相。
GANs 是可以模糊现实界限的技术，Anandkumar 相信它们可以帮助解决人工智能社区正在努力解决的主要挑战，比如抓握机器人手和自动驾驶。
Anandkumar 还希望在未来一年内看到迭代算法、自监督和模型自训练方法的进展，这些模型可以通过使用未标记的数据进行自训练来改进。
「我认为各种不同的迭代算法都是未来的发展方向，因为如果你只做一个前馈网络，那么稳健性就是一个问题。如果你尝试进行多次迭代，并且根据你想要的数据类型或精度要求来调整迭代，那么实现这一目标的可能性就大得多。」。
Anandkumar 认为，2020 年人工智能社区面临诸多挑战，比如需要与领域专家一起创建专门针对特定行业的模型。政策制定者、个人和人工智能社区还需要解决代表性问题，以及确保用于训练模型的数据集能够满足不同人群需求的挑战。
Anandkumar 说，面部识别最受关注，因为人们很容易意识到这是侵犯个人隐私的，但 2020 年人工智能社区还将面临一些其他道德问题。
在 Anandkumar 看来，2019 年最大的惊喜之一是文本生成模型的迅速发展。
「2019 年是语言模型年，现在，我们第一次实现了在段落长度上产生更连贯的文本的目标，这在以前是不可能的。」。
2019 年 8 月，英伟达推出 Megatron 自然语言模型。Megatron 拥有 80 亿个参数，被称为世界上最大的基于 Transformer 的人工智能模型。Anandkumar 说，人们开始把模型描绘成有个性的人，她对此感到惊讶，她期待看到更多特定行业的文本模型。
「我们还没有做到对话生成，对话生成是互动的，能够跟踪上下文并进行自然的对话。因此，我认为 2020 年将朝着这个方向做出更为认真的尝试。」。
开发文本生成控制框架将比开发可用于识别人或对象的图像框架更具挑战性。文本生成模型还可能面临其它挑战，例如，为神经模型定义事实。
最后，Anandkumar 说，看到 Kidd 在 NeurIPS 的演讲获得起立鼓掌，以及在机器学习社区中日益成熟和包容的迹象，她感到很振奋。
「我觉得现在是分水岭时刻，一开始甚至做出小的改变都很难。我希望我们能够保持这种势头，进行更大的结构改革。」
Dario Gil
作为 IBM Research 总监，Gil 领导了一组研究人员，积极为白宫和世界各地的企业提供咨询。他认为，2019 年的重大飞跃包括围绕生成模型的进展，以及生成可信语言的质量不断提高。
他预测，训练将在精简结构的情况下，朝着更有效的方向继续前进。开发更有效的人工智能模型是 NeurIPS 的一个重点，IBM Research 在 NeurIPS 引入了 8 位精确模型的深度学习技术。
他说：「我们用现有的硬件和 GPU 架构训练深度神经网络的方式仍然是如此低效。因此，对这一点进行真正根本性的反思非常重要。我们必须提高人工智能的计算效率，这样才能做得更多。」。
Gil 引用了一项研究，研究表明，每三个半月，对 ML 训练的需求就会翻一番，比摩尔定律预测的增长要快得多。
Gil 还对人工智能如何帮助加速科学发现非常感兴趣，但 IBM 的研究将主要集中在机器学习的神经符号方法上。
在 2020 年，Gil 希望人工智能从业者和研究人员能开发出一种超越精确性的指标，以考虑在生产中部署模型的价值。将领域转向构建可信系统，而不是优先考虑准确性，这将是继续采用人工智能的中心支柱。
「有些社区成员可能会接着说，不用担心，只要准确就行了。没关系，人们会习惯这样一个事实，那就是人类有时不会对我们所做的某些决定做出解释。我认为，我们集中社区的力量在这方面做得更好是非常重要的。人工智能系统不能成为关键任务应用程序的黑匣子。」。
Gil 相信，要想让更多具备数据科学和软件工程技能的人使用人工智能，就必须摆脱这样一种观念，即只有少数机器学习奇才能够做到这一点。
他说：「如果我们把人工智能当成一个神话般的领域，只有从事这方面工作的精选博士才能进入，那么这并不能真正促进人工智能的应用。」。
Gil 对神经符号人工智能特别感兴趣。在未来的一年里，IBM 将寻求神经符号方法来增强概率编程等功能，人工智能在其中学习如何操作程序，以及能够共享决策背后推理的模型。
他说：「通过采用当代新方法的混合方法，通过这些神经符号方法将学习和推理结合起来，将符号维度嵌入到学习程序中，我们已经证明，你可以用所需的一小部分数据来学习。你学习了一个程序，最终得到了一些可解释的东西，因为你有一些可解释的东西，你得到了更可信的东西。」
他说，公平性、数据完整性以及数据集的选择等问题将继续受到广泛关注，「任何与生物测定有关的问题」也将继续受到关注。面部识别得到了很多关注，但这只是个开始。语音数据将越来越敏感，其他形式的生物测定也将如此。
除了神经符号和常识推理外，Gil 表示，在 2020 年，IBM Research 还将探索用于人工智能的量子计算，以及用于人工智能的模拟硬件，超越降低精度的体系结构。
最后的想法
机器学习正在继续塑造商业和社会，VentureBeat 在采访研究人员和专家时看到了一些即将出现的趋势：
2019 年的重大进展是自然语言模型的进步，Transformer 推动了这一领域的巨大飞跃。2020 年将会有更多基于 BERT 和 Transformer 的模型。
人工智能行业应该寻找方法来评估模型的输出，而不仅限于准确性。
半监督学习、机器学习的神经符号方法以及多任务和多模态学习等子领域可能在未来一年取得进展。
与生物统计数据（如语音记录）相关的道德挑战可能会继续引起争议。
对于 PyTorch 和 TensorFlow 等机器学习框架来说，量化等编译器和方法作为优化模型性能的方法可能越来越受欢迎。
via：https://venturebeat.com/2020/01/02/top-minds-in-machine-learning-predict-where-ai-is-going-in-2020/
雷锋网雷锋网雷锋网
正在生成分享图...
刘洁