雷锋网按：本文作者陈宗周，《电脑报》创办人；《环球科学》杂志创始人， 现任社长兼主编；中国科技报研究会副理事长。致力于计算机发展史的研究，他撰写的《 PC 机十年》、《 PC 机第二个十年》、《软件辉煌》、《电脑病毒面面观》等文章都有较大影响。
本文为陈宗周的《 AI 传奇系列》第四篇。
发明个人电脑与互联网，是人类的两大传奇。现在，AI正在成为我们亲手缔造的又一个传奇。正像蒸汽机开启了工业革命时代一样，AI 也将把人类社会带入新世纪。
深度学习就像一只雄鹰，高飞还需要强劲的翅膀。而装上这两只翅膀，两位华人发挥了很大的作用。
深度学习迅速成为统治 AI 的最热门技术，除在思想和算法上有重大突破之外，它诞生时的计算环境与信息环境也有极大变化。
深度学习是机器学习（Machine Learning， ML）领域的分支学科。机器学习思路是让计算机自动学习相关知识并解决实际问题。实现机器学习有很多方法，属于神经网络的深度学习是其中的重要方法之一。
机器学习、神经网络都不是新东西，深度学习虽然严格说也不是新东西，而是在 2006 年被欣顿等重新包装推出时，有很多创造性的新思想和算法，让机器学习焕然一新。但是，AI 的历史告诉我们，不是只有好算法就能成功。
比如，深度学习用统计学方法巧妙处理深度神经网络数据的权重，把概率上相对近似度高的数据合并处理，大大降低了数据的维数，也就是降低了复杂度，由于这项关键技术，欣顿把自己构建的深度神经网络也称为深度置信网络。维数虽然相对降低，但计算量依然惊人。
神经网络模仿人的大脑，用学习的方法获取准确知识并用之解决问题。人工神经网络后来发展成多层神经网络，在输入层和输出层之间加上隐层，隐层还可不断增加。夺得 2015 年 ImageNet 图像识别竞赛冠军的微软 ResNet 系统，就是 152 层的深度神经网络。
像人类学习可以分为有老师的学习和无老师的学习一样，机器学习可以分为监督学习和无监督学习，监督学习必须使用经过标注的数据，无监督学习使用的数据不需经过标注。
神经网络本质上是一个数据驱动模型，需要提供数据让机器去学习，然后根据学习的结果不断调整、优化模型中的参数，达到使模型收敛，也就是达到预期学习效果。这一过程叫训练。
一个神经网络系统研制中一般需要三个数据集，训练集、工作集、测试集。训练集规模越大，训练效果也就是学习效果越好。
神经网络系统如果训练数据太少，会出现“过拟合”。这个专业术语的意思是学习结果太针对特定情景，不能推广。而学习结果能广泛适用，则称为“泛化”。正像人类学习能举一反三是因为掌握大量知识一样，机器学习也需要大量数据。形象地说，机器学习需要大量的数据“喂”进机器，“喂”进数据越多，质量越好，学习效果越好。
欣顿想了很多办法来减少对监督学习的需求，因为这意味着减少工作量和提高训练速度。他的创新思路是把无监督学习和监督学习结合使用。先让机器自己进行无监督学习，也即自动处理没有经过标注的数据，进行逐层预训练。最后阶段进行监督学习，即用经过标注的数据进行训练。这样大大提高了训练的速度。欣顿形象地比喻说：“想象一下小孩子，当他们学着辨认牛时，并非需要去看几百万张妈妈们标记上‘牛’的图片，他们仅仅是自己学习牛的样子，然后问道：‘这是什么？’ 妈妈会说：‘这是一头牛。’他们就学会了。”
这是深度学习巧妙的学习过程，但即使有这些发明，深度学习也必须在计算能力大大增强和海量数据出现的情况下，才能充分发挥作用。
被人工智能专家、日本人工智能学会伦理委员松尾丰称为AI领域五十年重大突破和一次飞跃的深度学习，就像一只雄鹰，高飞还需要强劲的翅膀。而装上这两只翅膀，两位华人发挥了很大的作用，他和她分别提供了 GPU 强大计算能力和 ImageNet 大数据集。
GPU 生产商英伟达公司 CEO 黄仁勋（Jen-Hsun Huang），1963 年生于台北，1984 年毕业于俄勒冈大学电机工程专业，斯坦福大学硕士。
中国 AI 专家、格灵深瞳公司 CEO 赵勇博士这样评价：有人说是深度学习成全了英伟达的 GPGPU（通用GPU），其实是 GPGPU，成全了深度学习。
他坚持认为：如果没有英伟达的 CUDA（计算统一设备架构）平台，科学界证实深度学习巨大潜力的时间不知道还要推迟多久。更难能可贵的是，GPGPU 技术使得在 PC 级别的计算机上进行高密度的高性能运算成本大幅降低，使得深度学习技术迅速地在科技界发展和普及起来。
赵勇博士太绝对，比较中立的说法是，深度学习和 GPU 互相成全，深度学习借助 GPU 强大并行计算处理能力迅速展示了自己的工程可行性和广泛应用前景，GPU 又因为深度学习打开 AI 一个个应用新市场而同步得到大发展。
GPU，正是黄仁勋创办的英伟达（NVIDIA）公司首创。
不少人很奇怪，硅谷的这家游戏显卡公司，怎么突然在深度学习中扮演重要角色呢？这实际上也是硅谷华人黄仁勋的励志故事。他 1993 年创办芯片设计公司英伟达后，一直在芯片龙头企业英特尔等的缝隙下艰难发展。虽然，1999 年英伟达推出了革命性的图形芯片 GeForce256，并由此发明了 GPU（图形处理器，也即图形处理单元）这个词。但主要用于游戏显卡的 GPU，被认为是 PC 产业附属的一个细分市场，前途并不广阔。工程师出身的黄仁勋是一个喜欢在实验室与科研人员研讨前沿进展、相信技术能改变一切的疯狂冒险家。所以，当英伟达首席科学家戴维·科克（David Kirk）提出要发展高性能的通用 GPU时，他立刻坚定支持，相信这位领头开发出全世界最畅销的独立显卡的科学家。
今天看来，用高性能通用 GPU 让个人拥有几百美元的廉价超级计算机、能支持大规模并行计算，是一个伟大的想法。但在 2007 年前后，英伟达情况非常不妙，股价从最高37美元跌落到6美元。而且，科克设想的强大的 GPU 计算平台，市场需求在哪里？
在这样的背景下，黄仁勋顶住内外压力于2007年推出了基于 CUDA 的通用 GPUbeta 版，之后公司的所有 GPU 都支持这样的架构，吸引使用各种编程语言的工程师纷纷用英伟达的 GPU 进行开发，增强了 GPU的开放性和通用性。
转机出现了，由于传统 CPU 在设计上不太关注并行计算，而 GPU 从一开始在底层设计时就考虑支持单指令多数据流，所以 GPU 大规模并行计算方面的强大能力远高于 CPU。在处理速度方面，2010年，NVIDIA 480 GPU 芯片，已经达到每秒 1.3 万亿次浮点运算。到 2015 年的 Titan X，更达到 6.1 万亿。不少专家对 GPU 和 CPU 做了比较，认为在执行特定任务时，前者速度是后者的100到300倍。
深度学习涉及的计算，正好比较特定，主要进行高速度、大规模的矩阵运算。这样的应用场景下，计算能力强大而价格低廉的 GPU，成为最好选择。欣顿的实验室买了一大堆 GPU 设备，其他的神经网络实验室也如此。随着深度学习取得巨大成功，几乎作为标配的 GPU 同步得到极大发展。
2016年，英伟达因为 AI 方面的远见而成为芯片行业的最大赢家，股价暴涨一倍多。在2017年的 CES 大展中，更传出英伟达可能很快超越英特尔的惊人消息。这些传言，背后是对 GPU 和深度学习专用芯片未来的畅想。
欣顿们和深度学习成功了，黄仁勋和英伟达也成功了。
创建 ImageNet 的斯坦福大学 AI 实验室主任李飞飞（Fei Fei Lee）， 则是与深度学习密不可分的另一硅谷传奇华人。
李飞飞 1976 年出生于北京，16 岁随父母去了美国。刚到美国日子非常艰难，父亲给别人修照相机，妈妈当收银员，而她一边上学一边去中国餐厅打工。在这样的情况下，自称拼命三郎的李飞飞考上普林斯顿大学物理系。
1999 年大学毕业后，她放弃华尔街 10 万美元年薪，选择去西藏研究藏医一年。然后，获得全新人生感悟的她，去了加州理工学院电子工程系读 AI 专业博士，她进校时正是 AI 低潮期。母亲此时不幸中风还患上癌症，学习、科研与生活多副重担压在李飞飞身上。 “如果重新来一次，我不认为自己还能挺过来。” 她事后对人这样说。
但是，华人女子李飞飞无比强大的内心支撑她度过艰难。然后，她创造了一项项学术奇迹。从加州理工学院到斯坦福大学，她发表超过 100 篇 AI 学术论文，33 岁获得斯坦福大学终身教授职位，又成为该校的 AI 实验室主任。
真正使李飞飞名扬世界的，是她创建的 ImageNet 。我们在第三回已经看到，正是由于这个图像大数据平台，深度学习走向辉煌。
从 2007 年起，ImageNet 下载了近 10 亿张图片。这是一个庞大的数据集，要对这些数据进行标注，工作非常浩繁。李飞飞巧妙地在亚马逊网站土耳其机器人（Mechanical Turk）平台上，用互联网众包模式来标注图片。高峰期时，ImageNet 是亚马逊土耳其机器人平台上最大雇主之一，来自 167 个国家的近 5 万人，用众包方式协同工作，筛选、排序、标注了近 10 亿张照片。
李飞飞回忆说，现在回头去看，用大数据来训练计算机算法的做法重要意义显而易见。在这段旅途中，她觉得很孤独，研究经费也一直麻烦不断。
2009 年，ImageNet终于诞生了。这是有 1500 万张经过标注图片、含 22000 类物品的数据库，仅仅是猫，就有超过 62000 只、长相姿势各异的不同品种家猫和野猫。无论在质量上还是数量上，这都是一个规模空前的数据库。只有在互联网时代，深度学习这样的卓越创造，才能因大数据而升华。
大数据威力很快显示出来了，ImageNet 大数据集开源，成为检验各种 AI 算法的最权威平台，也成为评价 AI 科研机构和科技公司 AI 实力的最好竞技场，自然成为全球科技界和媒体关注的焦点。
颇有意思的是，深度学习与 ImageNet 也互相成全，互为造星者。2012 年的 ImageNet 图像识别竞赛中，让计算机学习 1000 万张图片，然后用 15 万张图片进行测试，检验各种算法的识别准确率（实际上是错误率），在这样的大数据竞赛环境中，深度学习大放异彩。最不跟风追求时尚的李飞飞，也成为世界闻名的硅谷科技明星。2016年11月，李飞飞加盟谷歌公司，负责谷歌云。这位总能面对挑战的女科学家，又走上自己的新旅程。
目睹大数据对深度学习成功的关键性作用，松尾丰这样感慨：如果互联网网页的出现能再提早 15 年，也许今天硅谷的王冠就应该戴在日本的头上。他仍然在为日本的五代机而惋惜，认为如果有互联网带来大数据这样的信息环境，五代机可能就成功了。这位日本专家的分析或许有偏颇，但也反映出大数据对于深度学习不可或缺。
好风凭借力，送我上青云。深度学习借助 GPU 和大数据两只有力的翅膀，直上云霄。
正在生成分享图...
我在思考中