在过去的一年中，牛津大学哲学系教授Nick Bostrom对未来AI(人工智能)继续发展所带来的潜在风险，表示了深深的担忧，并对此作出了警告。虽然他表示自己的警告已经获得了一些致力于推动AI发展公司的关注，但实际上他的一些想法仍然遭到了不少业界人士的抵制。
自从他的新书《 Superintelligence》(超级智能) 在去年夏天出版后，包括伊隆·马斯克、史蒂芬·霍金以及比尔·盖茨等杰出的科技人士纷纷对其表示了支持，另外Google也成立伦理委员会来监督AI技术的发展。
上周，Bostrom与MIT技术评论的编辑进行了交流，并针对他为使AI研究人员意识到自己工作的风险性所作出的努力，进行了一系列的谈论。
你把AI的风险性置于核爆炸和流行病之上，对于这一说法你经过了怎样的考虑？
有许多事都会导致一场灾难的到来，但实际上真正能够威胁到人类生存的少之又少，但AI恰恰是其中最可能的一个。它看起来可能仅仅只需要一小部分人为之努力，所需要的资源也只是很小的一部分，但其产生的影响却是针对全人类的。另外譬如核爆炸等危险，实际上已经有很多团体或者组织在密切的关注了，但显然AI还没有。
那么气候变化呢，它被认为是目前人类面临的最严峻问题，你怎么看待？
在我看来气候变化所带来的风险其实非常小，当前我们对于气候变化的模型实际上存在问题，因为我们更多的是将地球上最糟的部分用作模型进行分析，然后我们不得不用一些看起来完全不太可能的地球工程去尝试改善它。而实际上，它所带来的风险远远不及AI所带来的伦理道德风险严重，因为直到今天为止，人们仍然在大力的去发展它，推进它的研究，而这将带来更多未知的风险。
如果有人表示自己的公司拥有足够强大的AI技术，你会对他给出怎样的建议呢？
第一个建议是去进行一些关于AI安全的内部研究，这个问题非常重要，它可以建立起AI研究员和认为AI存在安全问题的人之间的良好关系，可以使得其在产生一些好的想法时拥有良好的氛围去实施。
Google、Facebook等科技公司在AI的研究中一直处于领先的地位，你是否有和他们进行过一些交流？
我不能透露名字，不过他们在这一领域的兴趣是显而易见的。目前来看，在AI在不断发展的过程中，已经有部分人意识到了其安全问题，这使我感到非常高兴，它意味着一颗种子的播撒。
AI可以说还没影，那现在该进行什么样的研究？
现在的研究主要是对问题所在和一些概念有更清晰的界定，虽然还没什么成果，但没有它是无法进行下一阶段研究的，即技术研究。
对于AI技术项目，能举个例子吗?
比如设计一个AI的动力系统，使得AI不会抗拒程序员去修改目标？我想这应该是一整套的方法和工具。我认为这些都应该在AI被发布之前进行。
但这些似乎离Google等公司在做的项目有很长的距离。
对，这一领域的挑战之一就是，在有一个可以利用的系统前，就要做出一些有用的工作。
低于人类层面的AI还会造成问题吗？
这些问题看起来更真实，范围更小，也更迫切。目前在一些基础的比赛上，多是算法交易、无人机、自动化与其对劳动力市场的影响，以及系统是否可以进行有意或无意的识别等。我不否认目前这些问题的存在，我只是更关注当AI技术达到一定高度时所产生的无法解决的问题。
你说目前没有人可以预测离那样的AI还有多远，那是否有一些信号比如一些特定的进步来预示这一切呢？
可能会有一些重大的突破发生，比如有更多的常识推理能力，在不同领域的学习能力以及更灵活的规划能力。
我们已经经历了两个炒作时期，以及对其幻想破灭的时期，目前我们很可能处在第三个炒作时期，目前技术发展受到了限制，而接下来的技术进步还需要很长的一段时间。但也可能过了这个低谷，就会迅速发展。
如果这一切是真的，我们是否可以保持一种较为乐观的态度？
从长远来看，我认为情况要么最坏，要么最好，不会处于中间。我希望会是好的方面。
Via mit
正在生成分享图...
我在思考中