雷锋网 AI 科技评论按：普通大众对“人工智能的智力超越人类，最终统治世界、灭绝人类”这件事充满了担忧，而实际上许多已经在从事人工智能相关工作的研究者也免不了有类似的担忧。乐观的人都很想告诉悲观的人为什么“人工智能大爆发”不会发生，但往往没有好的论据和理论体系。
近日，著名的机器学习研究者、Keras的作者 François Chollet 就在 Medium 上发出一篇长文，详细解释了智力的本质、迭代发展是怎么回事，最终表明“人工智能大爆发”是不会发生的。雷锋网 AI 科技评论把这篇文章全文翻译如下。
1965年，英国数学家、图灵曾经的同事、后来还担任了「2001太空漫游」的科学顾问的 I. J. Good 首次提出了“智力爆发”的想法，这和人工智能（AI）有着密切关联：
假定有一种机器，无论多聪明的人做出的智力活动都可以被它超越，我们就把它称作“超级智能”。由于机器的设计也是这些智力活动中的一种，一个超级智能就能比人类设计出更好的机器；那么毫无疑问地，接下来就会迎来“智力爆炸”，人类的智力会被远远甩开。这样以来，第一台拥有超级智能的机器就会是人类历史上的最后一项发明，我们也只能希望超级智能足够温顺体贴，能告诉人类一些办法避免完全脱节。
几十年后，“智力爆炸”的想法在人工智能领域已经落地生根，关于“超级人工智能”和人类会最终灭绝的担忧一直萦绕在人们心中。许多知名公司的负责人都认为这是一个重大风险，甚至比核战争和气候变化的风险还要大。机器学习专业的毕业生也大都赞同这种担忧。在2015年的一项面向人工智能研究者的电子邮件调查中，29%的参与者认为人工智能大爆炸是“很可能”和“极有可能”的；还有21%认为认为这事有相当的可能性。
人工智能大爆炸的基本假设是这样的：在不远的将来，人们首先创造出一个“种子AI”，它具有稍微高过人类一点点的通用问题解决能力。然后这个AI就会开始设计出更好的AI，从而启动一个循环往复的自我升级过程，在短时间内以数量级的优势超过人类，最终将会让人类智能显得不值一提。这种理论的支持者把人工智能看作是一种强权力量，它的拥有者随之也有拥有了可以改变环境、改变世界的超自然力量，就像2014年的科幻电影「超验骇客（Transcendence）」里那样。超级人工智能几乎是全能的，也就会对人类社会产生实实在在的威胁。
关于人工智能的风险以及如何管控它们的公众辩论有很强的误导性，这些科幻电影更是火上浇油。在这篇文章中，我会阐述我的观点：人工智能大爆炸是不可能的，这种“智力爆炸”的想法完全是来自于对智力的本质和迭代自我增强系统这两个方面的深远的误解。我会根据对智能系统和迭代系统的实际观察给出我的论点。
“智力爆炸”背后的推理过程就和上个世纪六十七年代产生的早期AI理论一样，是有些诡辩的：它把“智力”看作是一件完全抽象的概念，从它的内容中剥离开，而且忽略了已有的关于智能系统和迭代自我增强系统两个方面的已有证据。但智力并不一定是这样的。说到底，人类就生存在一个充满了智能系统（包括我们）和自我增强系统的星球上，所以我们就可以直接观察它们、从它们身上寻找现有问题的答案，而不是完全脱离证据地做循环论证。
为了讨论智力和它可能的自我增强的属性，我们需要先介绍一些必要的背景知识和语境。当我们讨论智力的时候，我们到底讨论的是什么？即便“精确地定义智力”这件事本身就有不小的困难。关于智力爆炸的论述把“智力”等同于“每个独立的智能体身上体现出的解决通用问题的能力”，它可以来自人类大脑，也可以来自未来的电子大脑。但这并不是一个完整的回答，所以我们从上面这个定义出发，开始拓展它。
我在“智力爆炸”理论里发现的第一个问题就是它没有意识到智力其实是一个更广阔的系统的一部分，有一种关于智力的观点“缸中之脑”就认为智力可以独立于它的场景存在。大脑仅仅是一块生物组织，本质上来讲它没什么好智能的。而除了大脑之外，你的身体和感知（感觉到运动的功能）也是大脑中的一个基础部分。人类所处的环境是大脑中的一个基础部分，人类文化是大脑中的一个基础部分。这些都是人类思维的来源。对智力的考量不能把它从它用来表达自己的内容中脱离出来。
具体来说，“通用人工智能”这种东西是不存在的。先从抽象角度来讲，我们都知道“没有免费的午餐”定理，它是说对于所有可能的问题来说，没有什么问题解决方法能够比随机选择的效果更好。如果智力的表现是一种解决问题的算法，它只有在某个具体问题的条件下才能够被人类理解。更实际地讲，可以看到现在我们构建出的各种智能系统都是高度专用化的。现在我们构建出的AI的智力都是高度专用的，专门用来解决非常细分的问题，比如下围棋，或者把图像分到一万个已知的类别中。这就好像，一只章鱼的智力是专门用来解决“如何做一只章鱼”这个问题的。人类的智力同样是专门用来解决如何做一个人类的。
如果我们把一个全新的人类大脑放在章鱼的身体里，然后让它生活在海底，那会怎么样？它能学会如何控制这个有着8只腿的身体吗？它能坚持个几天吗？我们做不了这样的实验，但是根据已有研究中发现的人类固有的基础行为和早期学习模式来说，很有可能这个章鱼中的人类大脑展现不出任何智慧行为，而且会很快死掉。怎么样，大脑现在就不怎么聪明了吧？
如果我们把一个人类（大脑和身体一起）放到一个完全没有我们熟知的人类文化的环境中呢？一个被狼群养大的狼孩，长大以后会比他的被人类养大的双胞胎兄弟更聪明吗？如果我们把这个狼孩和年幼的爱因斯坦换一换，他会不会有机会借助教育的力量，最终同样发现关于宇宙的理论呢？可供借鉴的经验性证据非常少，但是从我们现有的知识中可以看到，在人类文化环境之外长大的小孩最高也只能发展出基本的、动物一样的生存行为，当他们长成大人以后都还学不会任何语言。
如果像我们刚才说的这样，智力在本质上是取决于具体的感知模式、具体的环境、具体的养育方式、具体的需要解决的问题的，那我们就不能指望只依靠调节“大脑”，就能任意地提高一个智能体的智力水平，就像不能只靠调节工厂里流水线的速度来提高整个工厂的产量。想要智力爆发，那么大脑本身、感知模式和环境都需要跟着进化。如果我们大脑的组成结构是我们问题解决能力的决定性因素，那么那些IQ远超正常人类范围的人也就会以远超过普通人的方式生活，解决各种以前人们认为解决不了的问题，甚至最终通知世界，就像有的人害怕超过人类智力的AI会做出这些事一样。然而实际上，具有超常的认知能力的人多数都过着异常乏味的生活，几乎没几个人做出了什么值得纪念的事情；另一方面，如果我们看看那些尝试统治世界的人，我们几乎看不到其中有谁是特别聪明的。
对于那些在真正的难题上做出了真正的突破的人，他们之所以能做出成果是环境境遇、性格、教育背景、智力因素组合的结果，而且他们也是在前人的工作之上一点点做出改进，从而形成突破。“成功”，这种智力的外在表现，是一种在合适的时间遇到一个好的问题的能力。许多解决了重大问题的杰出人物甚至都不一定有多聪明，他们的技能是专门用于某个特定领域的，他们在自己的主攻领域之外也并不见得就比普通人表现更好。有一些人做出了更多的成就是因为他们的团队协作能力更好，或者更有勇气、工作中有更高的道德、有更好的想象力。也有一些人只不过碰巧就在对的场景里、在对的时间讲了对的话。本质上来说，智力是取决于场景的。
智力并不是某种超强力量；超常的智力仅凭它自己并不能给某个人带来同样比例的额外的力量，从而改善他自己的处境。不过，有充足的研究表明智力的高低（以IQ值衡量，不过这也有待讨论）跟整个社会的分布中最接近平均值的一部分的社会成就有关系。一个IQ为130的人从统计意义上来讲更有可能比IQ为80的人获得成功的人生；对单个个体来讲其实变数也是很多的，这种关联只在统计学意义上有效，但它在超过某个点之后还是会失效。没有任何证据可以表明一个IQ为220的人能比IQ为130的人能在某个领域做出更大的贡献。这是为什么呢？
这种状况指向了一个非常直观的事实：做出高的成就需要有足够的认知能力，要高出某个阈值，然而接下来在解决问题、在“智力的外在表现”时遇到的瓶颈就并不是隐含的认知能力自己了。这个瓶颈是人类自己的处境。我们所在的环境决定了我们的智力是如何呈现出来的，它给我们能凭借大脑做到的事情加上了一个不可逾越的上限：环境决定了我们长大以后能变得多聪明、决定了我们能以何种效率利用我们培养出的智力，以及决定了我们能解决什么样的问题。所有的证据都表明，我们现在的生存环境很大程度上就和人类历史上过去的二十万年里的、甚至更早时候的生存环境一样，始终不足以让高智慧的个体完全发展、完全运用他们的认知潜能。一个一万年前的具有很高潜力的人类基本上是在一个复杂度相当低的环境中长大的，很可能只会说一种词汇量不到5000个单词的语言、从来都没有阅读或者写作过、只接触到了非常有限的知识、遇到了寥寥几个认知挑战。对于多数的现代人类来说状况是要好一些了，但是没有任何迹象可以表明我们现在在环境中遇到的机遇和挑战增加得比我们的认知潜能更快。
“从某种程度上说，我对爱因斯坦大脑中的权重和卷积的兴趣，并不比几乎一定存在的、具有同样天分的、在棉花田和工厂流水线里生活死去的人更多。” — Stephen Jay Gould
一个聪明的人类如果在森林中长大，那他只不过是一只没有毛的猴子。类似地，一个具有超越人类的大脑的AI，如果以人类的身体在现代世界里生活，也不见得会比一个聪明的现代人学到更多更强的本事。驾驶它能的话，那么那些已知的具有高IQ的人类就肯定已经做出了与IQ成正比的超人般的个人成就；他们对自己的环境的控制力将是普通的人类无可比拟的，也将会解决深远、重大的问题。然而这一切现在也并没有发生。
决定我们的大脑会发展出什么水平的智力的，并不仅仅是我们的身体、感知和环境，这里的重点是，人类的生物学上的大脑仅仅是人类总体智力的一小部分。我们身边充满了认知意义上的“假肢”，它们连接到我们的大脑中，拓展了大脑解决问题的能力。比如你的手机、你的电脑、谷歌搜索、在学校遇到的认知工具、书籍、别的人、数学符号、编程，等等。所有认知意义上的假肢中最最基础的当然就是语言本身，它可以说是认知活动用的操作系统，如果没有它我们就没办法做深入的思考。这些东西就不仅仅是喂到大脑中然后被它使用的知识，它们是真正的外部认知过程，用非生物化的方法执行思维路径和解决问题的算法；它们超越了时间、空间，而且更重要的是，超越了我们每个个体。这些认知假肢并不是我们大脑的任何一部分，但却是我们大多数认知能力的栖息之处。
我们人类就是由我们使用的工具塑造出来的。单独的一个人几乎什么都做不了；这话可以再说一遍，人类只不过是两只脚走路的猴子而已。让人类脱离了动物本能的，是人类集体的知识和外部系统在数千年间的积累，我们也把这个过程称作“文明的建立”。当科学家做出了突破性发现的时候，他们大脑中运转着的思维过程仅仅是整个方程的很小一部分，问题解决过程中的绝大部分的工作量都是由电脑、别的研究者、纸笔记录、数学符号等等完成的，他们能够成功的原因也都是因为他们站在巨人的肩膀上：他们自己的研究成果只不过是一个延续了几十年的、有几千个独立的个体参与的问题解决过程中的最后一个子程序而已。作为单独的个体，他们自己的认知成果对于整个流程来说并不见得就比计算机芯片中的一个晶体管起到的作用更大。
有多到数不清的证据都指向了这个简单的事实：单独一个人类大脑，只靠它自己，是不足以设计出超越自己的智慧存在的。这完全是一个实证得到的结论：在这地球上出现过、灭亡了的几十亿个人类大脑中，没有一个做到了这件事。这件事很明显，单独一个人的智力，花了一生的时间也设计不出更高的智力存在；假如能的话，在这样的几十亿次尝试之后，是肯定要能发生的。
然而，这几十亿个大脑，在数千年间积累了知识、发展出了外部的智慧流程、实现了这个“文明”系统，最终有可能就会带来智力高于单个人类个体的人工大脑。能创造出超越人类的AI的，不是你，不是我，不是任何单独的人类个体，而是作为一个整体的人类文明。这个过程中有无数的人类参与、花费的时间我们无法想象；这个过程对书本、计算机、数学、自然科学、网络等等外部智力的需求要远高于生物智力。从个体的层次讲，我们都只是人类文明中的一个个向量，从前人的工作上开始，向下传递我们自己的发现。如果人类文明对应的这个解决问题的算法运行在电脑上，我们就只是短暂参与其中的晶体管而已。
经过几个世纪的时间、人类集体开发出的超越人类的未来人工智能，会有可能有能力创造出比它们自己更强大的AI吗？不会的，就像我们人类也不知道如何开发出超越自己的人工智能一样。如果你回答“会”的话，就又和我们知道的一切冲突了。请记住，没有任何人类，也没有任何我们知道的具有智力的实体能开发出任何比自己更聪明的东西。我们人类要做的是，逐步地、共同地构建比我们自己更强大的外部的问题解决系统。
不过，未来的AI就会和人类以及其它人类创造出的智慧系统一样，给人类文明添砖加瓦；而人类文明，反过来也就会不断拓展它创造出的AI的能力。从这种意义上说，人工智能就和计算机、书本或者语言一样，是一种给人类文明带来更强大力量的科学技术，超级人工智能所代表的技术奇点也就会和计算机的发明、书本的发明、语言的发明所代表的奇点一样。人类文明会创造出AI，然后继续向前进步。人类文明最终会超越我们现在的存在形式，就像现在的人类文明超越了一万年前的人类一样。这是一个逐步发生的过程，而不是一个突然的转变。
智力爆炸的基本假设，一个“种子AI”会出现，凭借比人类更强的问题解决能力，走向突然的、迭代的、不受控制的智力发展循环，是错误的。我们人类的问题解决能力（具体来说，我们设计人工智能的能力）本来就一直在提高，因为这些能力大部分并不是存储在我们的生物学大脑中的，而是蕴含在人类身体外部的所有工具中。这个迭代进化的循环已经运转了很长时间了，“更好的大脑”的出现也不会对它造成什么实质性影响，不会比任何以往的智力增强技术影响更多。人类的大脑从来都不是人工智能设计过程中的重大瓶颈。
说到这里你可能会问，人类文明本身难道就不是一个可能失控的、能自我增强的大脑吗？我们的文明所代表的智力会爆炸吗？不是，也不会。这里的关键是，人类文明这个级别上的智力增强循环，只为人类带来了随着时间线性增加的问题解决能力。这样是没办法爆炸的。可是为什么呢？从数学上迭代增加X不就会带来X的指数性增大吗？不是的。简单来说，没有哪个现实世界中的复杂系统可以被 “X(t + 1) = X(t) * a, a > 1”这样的模型描述。这样的系统在真空中不存在，尤其也不会在智力和人类文明中存在。
当一个智能系统开始优化自己的智力的时候，我们其实都不需要猜测会不会出现智力的“爆炸”。即便在这之前，多数的系统就都是能自我迭代增强的。我们的生活里充满了这样的系统，所以我们很清楚这样的系统在各种不同的环境下、各种不同的时间尺度下都有哪些行为特点。你自己，就是一个迭代自我增强的系统：通过学习让自己更聪明，反过来又能让自己更高效地学习。类似地，人类文明也是自我迭代增强的，只不过是在长得多的时间尺度上。机电一体化也是一个自我迭代增强的过程：更好的工业机器人，就可以造出更好的工业机器人。军事帝国也是自我迭代地扩张的：帝国越大，就有越多的军事手段可以继续扩张。个人投资也是自我迭代增强的，有更多的钱，就能挣更多的钱。不胜枚举。
让我们以软件为例考虑一下，编写软件的过程很明显能帮助写出更好的软件：首先，我们编写出能“自动化编程”的编译器，然后我们借助编译器开发出新的程序语言，从而可以实现更强大的编程范式。借助这些语言，我们开发出了高级开发工具，debugger、IDE、bug预测器等等。未来，软件甚至可以自己编程自己。
那么这个自我迭代增强过程的终局如何呢？同样在你的电脑上，你今年能做的事情就会比去年翻一倍吗？下一年还能再翻两倍吗？理性地说，软件的功能是以线性的速度逐渐提高的，但同时我们却投入了指数增加的精力在软件开发中。软件开发者的数量在过去的几十年里一直都在指数级增长；同样地，根据摩尔定律，运行软件所用的芯片中的晶体管的数目也是指数级爆炸的。然而，我们的电脑只是小步地、小步地比2012年的、或者2002年的、或者1992年的电脑变得更有用那么一点。
为什么呢？主要原因是，软件的功能根本上来讲是受限于它的使用过程中处理的内容的，就像智力，一面可以被它用于表达自己的内容所定义，另一面也被用于表达自己的内容所限制。软件也只不过是人类经济、人类生活这样的巨大过程中的一个螺丝钉而已，就像我们的大脑也只不过是人类文化这个巨大的过程中的一个螺丝钉。这些内容给软件作用的最大潜能设置了上限，就像我们生存的环境给单个人的智力水平设置了上限一样，即便这个人有天赐的超级大脑也没用。
除了来自内容的硬性限制之外，即便系统的某一个部分有迭代自我增强的能力，系统里其它不能迭代自我增强的部分也不可避免地会成为整个系统表现的瓶颈。作为对迭代增强的反应，反向对抗的过程就会这样出现，阻挠增强过程的继续；以软件的例子来说，功能的增强可能会带来资源的消耗、特性更新缓慢、用户体验方面的问题等等。对于个人投资来说，你自己花钱的速度就是一个类似的对抗过程：你手里的钱越多，你花出去的钱也就越多。对于智力来说，系统之间的沟通就是对任何内部功能改进的阻碍。大脑如果遇到了更聪明的肢体，协调它们的时候就会遇到更多的问题；一个社会中的个体如果更聪明了，这个社会也就需要投入更多的资源在网络和沟通上，等等。IQ非常高的人有更高的可能性患上某些精神疾病，这可能并不是什么巧合，历史上的军事帝国在超过了一定规模以后都会走向崩塌可能也并不是随机事件。指数增长的过程，遇到了同样指数增长的阻力。
有一个值得具体说说的例子是科学技术的发展，因为它从概念上很接近智力本身：科学技术，作为一个问题解决系统，距离一个可能失控的超级AI并没有多远。科学技术当然是一个自我迭代增强的系统，因为科学技术进步带来的结果就是我们能制造出新的工具，给科学技术带来更强的力量，不论是实验设备（比如量子物理引出了激光的发现，而后让许多新的量子物理的实验得以进行）、思想工具（比如新的定理、新的理论）、认知工具（比如数学符号）、软件工具、让科学家们更好地合作的沟通流程（比如网络），等等。
然而，现代科学技术的发展仍然是可见地线性发展的。2012年的时候我就写过一篇关于这种现象的文章，标题是“奇点是不会来到的”。在1950到2000年之间，我们在物理方面做出的重大进步并不比1900到1950年之间的更多，那时候的科学家们做的就很棒了。如今数学的发展也并没有比1920年的时候快到哪里去。几十年来，医学的发展从各个指标来看也只不过是线性的发展。而这还是我们在科学技术方面的投入以指数级别增加之后的结果，研究人员的数目大概每隔15到20年就会翻一番，同时这些研究员们也用着计算能力以指数级别增加的电脑来提高他们自己的产出能力。
原因是什么？减慢了科学技术自我迭代发展的重大瓶颈和对抗性的反作用力都是什么呢？因素太多了，根本数不过来。下面简单列几个吧。重要的是，以下的每一条都同样适用于自我迭代增强的AI系统。
在某个领域做科学研究的难度会随着时间指数增加。领域的创始人基本上摘走了所有伸手就能够到的果实，之后的研究者想要达成可以相提并论的成就，就需要付出指数增加的精力。甚至在信息论领域中，没有任何研究者做出的成果是可以和香农在1948年的论文中的成果相提并论的。
随着一个领域变得越来越大，研究人员之间的信息共享与合作也变得指数级地困难。想要跟上最新的学术文章也变得越来越难。别忘了，一个有N个节点的网络，节点间连线的数目是 N*(N-1)/2；连线增加得要比节点增加得快多了。
随着科学技术知识越来越多，人们需要在教育和技术训练中投入的时间精力越来越多，每个研究者自己所能探究的方向也越来越狭窄。
根据实际情况来说，系统的瓶颈、逐渐减少的回报和对抗性的反作用力，会让我们身边所有本来可以自我迭代增强的过程最终停滞。自我增强的确可以带来提高，但是这种提高往往是线性的，甚至最高的情况也只是sigmoid函数那样。你的第一个“种子美元”投资不见得就会带来“财富爆发”；相反地，投资收益和逐渐增长的支出之间会达到平衡，你的财富往往只会是大概线性增长的而已。而这还只是在一个比自我增强的大脑简单好几个数量级的系统里的情况而已。
类似地，第一个超级AI的出现也只不过是可见的线性增长过程中的一步而已，而这个过程我们已经走了十分久了。
智力的拓展只能来自大脑（生物大脑或者数字大脑）、运动感知、环境和文化的共同进化，而不是单独拿出来、仅靠调整缸中之脑的某些组成就能达到更高的智力。这样的共同进化已经持续发生了不知道多久，而且会随着智力的基础逐渐转为数字化的过程不断地继续进行下去。不会出现什么“智力大爆炸”，这个过程只能大致按照线性速度发展。
智力是取决于场景的，根本没有“通用智能”这么一回事。我们的大脑是包括了我们的身体、环境、别的人类以及总体文化在内的一个更大的系统中的一部分而已。
没有系统可以自己在真空中存在；每个单独的智力存在都会同时被它存在的内容和环境所定义以及限制。目前来讲，我们的所处的环境是我们智力发展的瓶颈，而不是我们的大脑。
人类智力在很大程度上是外部化的，它存在于人类文明中，而不是在人类自己的大脑里。我们就是被我们使用的工具定义的，我们的大脑就是一个远远大于我们自己的认知系统中的几个模块。这个大的认知系统就是能自我增强的，而且已经自我增强了很久了。
自我迭代增强的系统，在现实中由于各种瓶颈、逐渐减少的回报和来自它们存在的大环境的反作用因素，并不能真的达到指数级别的提升。根据以往经验来讲，它们往往只能展现出线性或者sigmoid的提升而已。尤其，科学研究的进展就是这样的，而科学研究基本就是我们可观察的系统里最接近自我迭代增强的AI的一个了。
迭代的智力增加一直都在进行着，跟着人类文明的发展一起。在AI时代它也会继续进行下去，而它的发展也大概就是线性增加的。
（完）
via Medium.com/@francois.chollet，雷锋网 AI 科技评论编译
相关文章：
正在生成分享图...
我在思考中