雷锋网 AI 科技评论按：近期 Facebook 泄露海量用户数据，而且这些数据还被利用来针对性地影响 Facebook 用户的事情已经闹得沸沸扬扬。除了用户隐私保护这一话题永远都不过时之外，「用来分析用户、影响用户的 AI 算法应当担负怎么样的责任」这一话题也在 AI 圈中引起了讨论。Keras 作者、谷歌大脑研究员 François Chollet 也在 Twitter 上连发好几十条推文，表达了自己的观点。这些推文基本构成了一篇完整的文章，而且观点深刻发人深省。雷锋网 AI 科技评论把这些推文编译整理如下。
François Chollet：
Facebook 已经做了一系列「成功」的实验了，其中的内容包括通过控制信息流里展现的内容控制用户的情绪和想法，以及预测用户未来可能做出的决定，比如预测分手、预测建立新恋情。如果 AI 有什么重大的威胁需要引起足够的担心的话，那它已经在这里显现出来了：极为有效地、可以大规模实行地控制普通大众。Facebook 非常努力地想要成为 AI 方面的领军力量这件事，在看清它背后的全部隐喻之后，开始真正地让人不寒而栗。
对 AI 研究社区里的各位，下次你们以任何形式参与到 Facebook 的 AI 生态系统中的时候，你们都需要想想，想想自己又帮 Facebook 增添了哪些能力。我们共同养大的这个怪兽，最终会把我们每一个人都吃掉。很抱歉我把这事说得很夸张，但是这件事的威胁程度值得用这么严重的词。Facebook 在这件事上体现出的问题，并不仅仅是失去了隐私并被用于泛极端主义。在我看来更值得担心的是，它把个人的数字信息用作心理控制的手段。
有两个长期趋势正在改变整个世界的模样：一，我们每个人的生活越来越去物质化，越来越多地由「在网络上享用和创造内容」构成，工作中、下班在家的时候都是这样；二，AI 也在变得越来越聪明。在能够影响我们如何享受数字化内容的算法层面上，这两个趋势的作用开始叠加。决定我们能看到哪些文章、我们和谁联系、我们看到谁的观点、收到谁的反馈等等无限多的事情的，变成了不透明的媒体算法。基于广大用户这么多年积攒的数据，用算法处理我们能享用哪些数据的做法让这些系统对我们的生活、对我们要变成什么样有了可见的控制力。当我们的生活越来越多地由数字生活组成的时候，我们在这个世界的管理方 —— AI 算法 —— 面前，就越发地脆弱。
如果在某几年的时间里，你看到什么新闻（不论真假）、看到哪个政客的观点，以及谁能看到你的观点，等等这一切都是由 Facebook 控制的，那 Facebook 就对你的政治理念和你的世界观有了相当的影响。而这也并不是什么新闻，我们已经知道了至少从 2013 年起 Facebook 就进行了一系列实验，实验里他们可以通过关闭信息流里的某些内容的方式，控制不知情的被试用户的心情和决定，以及预测这些用户未来的行动。
简短来说，Facebook 可以同时测量所有关于我们的信息，同时还控制我们接触到哪些信息。当你同时可以接触到感知和行为的时候，这就变成了一个 AI 问题。那么你就可以开始为其中的人类行为建立一个优化闭环。一个强化学习闭环。在这个闭环里可以观察到目标的当前状态，然后持续改进给他们看到的信息，一直改进到他们开始表现出你想看到的观点和行为为止。
AI 研究里有相当一部分内容（尤其是 Facebook 一直在投资的这一部分），就是关于如何开发算法，尽可能高效地解决这种优化问题的，以便能达到这样的闭环，对其中发生的现象有完全的掌控。以 Facebook 这件事来讲，在闭环里被掌控的就是我们自己。
人类的大脑天生就对简单的社交控制没有任何抵抗力，这让达到这个目标变得不知道有多么简单。现在当我思考这些问题的时候，我已经不由得想起了一系列有效得令人后怕的心理攻击手段。其中的有一些已经在广告业使用了很长的时间，比如正面/负面社交强化，只不过执行得很弱、没有针对任何特定目标。
如果从信息安全的角度考虑的话，这已经可以称得上是「脆弱性」，可以通过已知的系统特性掌控整个系统。对于人类心智来说，这些脆弱性永远都没有办法修复，人类就是这样一种生物。我们的 DNA 就是这样的，我们的心理特点就是这样的。作为人类个体，我们没有任何有效的方法可以保护我们不受这种控制。AI 算法越来越聪明，它们对我们的所做、所信有完全的了解的同时，还对我们接收的信息有完全的控制。人类心智这个静态的、脆弱的系统，在这样的 AI 面前只会越来越沦陷。
而很重要的是，对大量人口的控制，尤其对于政治观念的控制来说，让 AI 控制我们看到哪些信息这样的做法其实都不一定需要很先进的 AI。一个没有自我认识的、没有超级智能的 AI 就已经可以是显著的威胁。
所以，如果对大量人口的控制现在就已经理论上可行的话，那为什么世界还没有走向毁灭呢？简单地说，我认为是因为我们做 AI 做得还太糟糕了。不过这可能也很快就要发生变化了。你们可以看到，我们的技术能力就是此处的瓶颈。
直到 2015 年为止，所有企业使用的广告投放算法里使用的都只不过是逻辑回归。实际上，直到今天也还有很多公司是这样做的，只有市场里最大的玩家才切换到了更先进的模型。这就是我们在网上看到的各种广告里，有很多都显得和自己毫无关系的原因。这些算法没有那么复杂。类似地，敌对国家用来散播政治观点的社交媒体机器人里面要么没有 AI，要么只有一点点。它们都太初级了，目前来讲。
在最近几年里，AI 的发展突飞猛进，而这些新的技术成果才刚刚开始部署在针对性的广告投放和社交媒体机器人里而已。深度学习也是在 2016 年左右才开始渗透到信息流和社交网络这些领域里。Facebook 在这些技术上都做了大规模的投资。
接下来还会发生什么谁也不知道。细想之下，Facebook 在 AI 科研和开发方面一直都有大规模的投资，而且很直白地希望自己成为这个领域的带头人。这告诉了我们什么呢？当你的产品是信息流的时候，你需要 AI 和强化学习到底是为了做什么？
我们现在面对的是这样一个有着强大力量的实体：它为超过 20 亿人类分别构建了细粒度的心理学档案，它会做大规模的行为控制实验，同时它还有「开发世界上最强大的 AI 技术」的目标。以我个人来讲，真的是感到害怕。
如果你也在 AI 领域工作，请不要帮助他们。不要认可他们的游戏规则。不要参与到他们的研究生态系统中。做人要有良心。
（关于「把个人的数字信息用作心理控制的手段」）有人说谷歌也是这样的。这算得上是最懒惰的一种思维方式了，仅仅因为两件事表面上看起来有一些相似性（它们都是大型科技企业），不代表它们就是相关联的。根本上，我讲的这些威胁并不会发生在谷歌身上。亚马逊也不会。苹果也不会。理论上，Twitter 是有可能的，不过实际上它基本上什么都没做。
产品是不透明的信息流算法、做大规模的心情/观点控制实验、快被操控选举丑闻淹没、一次又一次领导力破产的公司只有这样一个。所以请不要条件反射般地以为「所有科学技术、所有广告都是坏的」，请仔细考虑我说的实质内容。
对我个人来说，我是有意识地选择了来谷歌工作的。如果我开始觉得不舒服了，那我肯定会离开。而如果我当时选择了去 Facebook 工作的话，我 2017 年就会离开。
我们和这个信息密度越来越高的世界之间的沟通越来越多地依赖算法并不构成什么问题。随着互联网和 AI 的发展崛起，这个趋势是不可避免的。真正的问题在于控制。我们需要让用户决定算法优化的目标是什么，而不是让信息流算法控制我们，从而达到它的某些不透明的目标（比如影响我们的政治观点，或者最大化我们在信息流上浪费的时间）。
让用户自己配置他们的信息流，比如尽量帮助用户自己的学习和个人成长之类的，应当成为一种可能性。这样一来，更复杂的 AI 也不再是人类的威胁，而会对我们有许多益处，可以让我们更高效地达成自己的目标。长期来看，我认为教育和自我提升将会是 AI 最具影响力的应用领域之一。这个动态发展的过程仿佛是现在这样企图控制我们的 AI 系统的一个翻版，但唯一的不同就是谁来给算法设定目标。
对于这个数字信息构成的世界来说，AI 就是我们和它之间的接口。它既可以让个人和团体有更大的力量控制自己的人生，也有可能引向被完全控制的不归路。很遗憾的是，我们正在错误的方向上前进。
从另一个角度来讲，谷歌搜索、Gmail、iOS 和安卓这样的技术产品对人类有益，而 Facebook 信息流对人类有害的原因正是如此。前者是主动的，它们给了用户更多力量，让他们能够做更多、了解更多。后者则是控制你的世界观，而且试着让你在它里面尽可能多地浪费时间。
人工智能作为一个产业，我们需要开发新种类的产品类别和市场，其中产品的动机是为了让人类具有对 AI 的控制权，而不是让 AI 利用人类的心智获利或者影响政治。我们需要努力向着「反 Facebook」的技术产品前进。
（完）
via François Chollet @fchollet，雷锋网 AI 科技评论编译
相关文章：
Facebook千万用户信息泄露引发的另一思考：线下视频监控用户数据如何守护？
正在生成分享图...
我在思考中