为什么顶尖科学家如此担心人工智能？

Nick Bostrom是一个怪异的哲学家。在所有担心人工智能，杀手机器人和技术带来的世界末日的人中，Bostrom想到的是最极端的情景。在他的想像中，人类灭绝只是开始。

Bostrom最喜欢的末日假设与一个被设定为制造回形针（或其它任何日常用品）的机器有关。这台机器会越来越聪明，越来越强大，但不了解人类价值。它会获得“超级智能”，然后将任何东西都变成回形针，甚至包括人类，地球和星系。

Bostrom曾轻描淡写地表示，“很可能有这种一样超级智能，它唯一的目标就是做更多的回形针，让整个宇宙都是回形针。这会是一个低价值的未来。”

对机器智能，邪恶计算机的担心已经逐渐成为主流，很少有科技会议上不会有人讨论AI焦虑。霍金，比尔·盖茨都在担心，而特斯拉创始人马斯克甚至投资了1000万美元，用于研究如何让机器智能处于控制之下。

这种观点的盛行与媒体和技术的改变有关，它更多是一种猜测，甚至还有点癔想成分。但这一反应了一件事实：在我们所处的时代，机器智能已经成了生活的一部分。计算机控制着飞机，过不了多久也许能驾驶汽车了；算法会了解我们的需求，并展示针对性广告；机器还能从人群中识别出我们的脸。基因工程和纳米技术等新领域不错发展并融合，我们不知道它们会产生怎么样的结果，部分严肃的人担心潜在的危害，怀疑我们能否控制自己的发明。

科幻作家阿西莫夫在上世纪40年代写机器人时，就预料到了这样的情况。他发明了机器人三定律，第一条就是，“机器人不得伤害人类，或因不作为(袖手旁观)使人类受到伤害”。阿西莫夫的三定律现在仍会被提及，不过更流行的词变成了“奇点”。

阿西莫夫

奇点可以追溯到1965年，当时英国数学家I.J. Good写道，“超级智能机器肯定能够设计出更加优良的机器，毫无疑问，随后必将出现一场智能爆炸，人类的智能会被远远抛在后面。”1993年，科幻作家Vernor Vinge用“奇点”这个词描述了这个时刻；后来发明家Ray Kurzweil写了一系列书，预测奇点发生的年代。

Kurzweil现在是Google的工程主管，他可能是最知名的技术乌托邦主义者之一。他认为技术进步终将让我们迎来人与机器智能融合，让我们变成“超人”。

无论上面说的会不会发生，Bostrom很担心我们没有足够的安全措施。他认为，人类可以将机器设定为永不伤害人类，但机器可能认为遵守这一规定的最好方式是不让人类生育。另外，如果超级智能被设定为要让人类微笑，那它们可能决定在人体植入电极，让所有人保持微笑。

这些都是思想实验，但他想表达的是，人类现在的状况属于异常，工具已经压倒了自然的限制，让人类看起来成了主宰，但如果技术反噬呢？

还有一个人更为激进：Max Tegmark。他是MIT物理系教授，也是未来生活研究所(FFI)的创始人，而这一机构就管理着马斯克投资的钱。他认为未来是技术的力量与人类控制它的智慧之间的竞争，人类必须赢得竞争，但现在所有的资源都在助力技术的增长。

2014年4月，有33个人聚焦在Tegmark的家中，讨论技术的威胁，后来他们决定成立FLI。Tegmark还说服了其他知名人士加入自己，其中包括Skype的创始人Jaan Tallinn，演员摩根·弗里曼和Alan Alda。

Tegmark后来还发布了一篇专版文章，讨论机器智能的潜在危险。文章署名作者还包括诺贝尔奖得主物理学家Frank Wilczek，人工智能专业Stuart Russell和霍金。文章中写道，人工智能是“人类面临的最好也最坏的事”。

Google无人驾驶汽车

那其他人的观点呢？

离Tegmark的办公室不远的地方就是MIT的计算机科学与人工智能实验室。实验室主管Daniela Rus认为，“我没想过这些事”。她正在开发绝不会发生碰撞的汽车。而且多数AI研究者都认为Bostrom和Tegmark的想法不太成熟，就像现在担心火星会人口过剩。

Rus表示，机器人的优势在算数和负重上，在精细运动上仍比不上人类，更不用提创造性和抽象思维。无人驾驶汽车就需要精确的地图，而且只能应会可预测的环境，想要它们理解其他司机的手势还是不可能的事。

担心未来的人在考虑时可能还要考虑超级智能的反面：超级愚蠢(superstupidity)。我们现在依靠的复杂系统很容易在复杂和不可预测的情况下失灵。如果智能机器失灵了，会产生怎样的后果？而且通常的情况下，没人真正了解这些系统如何工作。如果加入自治功能，事物可能很快变成灾难。2010年股市出现过闪电崩盘，以至于道琼斯指数几分钟内直降近1000点，而部分原因来自自动化的超频交易程序。

另一位MIT研究者Boris Katz就认为，我们每天都会做出很愚蠢会犯错的东西。机器之所以危险是因为我们给了他们力量，让其对感觉输入作出反应。但人类制作的规则并不完善，所以机器会出错，但这并不表示它们想杀死人类。

Bostrom也认为，如果开发不出超级智能，那会是件很遗憾的事，因为人工智能可为人类带来更多的可能性，甚至帮我们实现星际殖民，以及思维上传到计算机这种事。

Bostrom另一点比较科幻的想法是，他认为高级文明拥有无限的计算能力，超级智能可以创造出宇宙，在其中程序可以精确模拟出人类意识，注入虚假的记忆。他认为除非我们能排除机器可以模拟人类经验的可能性，否则我们很可能就生活在这样一个模拟世界中。这真的很科幻了。

via theweek