深度 | 做到这些值4亿美元：看 Nervana 如何利用深度学习实现数据革命

2016 年 8 月，英特尔为了加强其人工智能领域的能力，以 4 亿美元的天价收购了机器学习初创公司 Nervana 。该初创公司成立仅仅两年，却被公认为是机器学习技术开发的领导者。近日，Nervana 的联合创始人兼首席执行官 Naveen Rao 博士在 StrataHadoop 上和大家深入探讨了深度学习的话题，通过其PPT，我们也能了解Nervana价值所在。

Naveen 探索了许多方面，包括深度学习相对于其他机器学习技术的好处、该领域的最新进展、深入学习工作流程、开发和部署深度学习解决方案的挑战、用于构建和扩展深度学习解决方案的标准化的工具等等。

不同于大家以往的认知，深度学习究竟是什么呢？这是一种模仿人脑机制分析数据的机器学习方法，从多层抽象中抓取特征。我们认为真正重要的是从数据中提取有用的信息，并通过统计信息作出判断。我们拥有数据科学领域内的权威专家，通过庞大的数据量提高学习性能，最终获得高度具象化的能力。

这种能力是非常强大的，类似于过去二十到二十五年间计算机对于人类的意义。在短短的两年内，深度学习这种新方法就被广泛地应用于工业中了，包括通信、语音处理、图像识别以及视频处理等等，其中大量的数据都可以被人们利用，所以我认为未来的前景是非常光明的。

深度学习的模型有很多，但基本结构都各不相同，可能会导致这些模型具有不同的特性。这里我很快和大家一起回顾一下这些常见的深度模型。

左上角的模型是目前最常用的卷积神经网络（CNN）模型，非常适用于视觉系统和图像分析。右上角的模型是复发性神经网络（RNN）则适用于各种基于时间或序列的建模。金融系统和语言模型通常使用 RNN。其他非主流的方法还有很多，比如下方的这三种：堆叠自动编码器，多层感知器（MLP）和深信度网络（DBN）。未来五年的很多创新将来自堆叠自动编码器领域，但目前我们还不知道要如何开始选取目标。

这里我们可以看到一些真实的实验结果，这个系统通过抽象化实体，提取出丰富的代表性特征，这才是我们真正的力量来源，并且其抗干扰能力很好，无法被轻易改变。

这个的意义在于，可以自动处理以往需要人工完成的任务。我们也做了一些测试，让大家可以看到其性能。目前，训练有素的人类通常错误率为 5%，而深度学习在图像和语音任务中的错误率仅为 3%。因此，我们相信几年后，深度学习在这两方面的能力甚至会远远超越人类。

这是一个深度信用网络，我们看下是如何利用它来解决数据问题。这个系统有两种使用方式：第一种是我们可以输入一些数字对应的手写样式，系统可以利用这些数据样本判断出是哪个对应数字；第二种是我们给定某个数字，系统可以模拟出其对应的各种可能的手写样式。

比如这里，系统根据一系列“5”的手写体判断出这是数字“5”。

再比如这里，当我们输入数字“0”，系统经过一系列手写体样式处理，会实时地显示各种形态各异的“0”，但毫无疑问，从视觉上大家还是可以判断出这是数字“0”。

这是非常有趣的一件事，这意味着我们可以输入一系列实例，从中抽象出具体的共同特征。

这个深度学习平台实现了针对行为探测的 3D 卷积模型，基于 100 种类别、1 万 3 千多个视频的公共数据集，使训练速度比竞争对手的框架快了大约 3 倍。同时，该平台也能扩展到其他场景、对象的识别，行为相似度平行对比，视频检索和异常检测。

其潜在应用包括：在机场或地铁站等乘客密集的场所实施安全监控、交通管制及车辆管理、航空管制侦测、基于面部识别和图像处理的安全系统检索功能、自动驾驶的感知和防撞系统、公共场所的行李检测等等。

语音可以看做是一个个单词的随机组合，所以要将语音转变为文字是很困难的。但是，经过大量的训练，系统也可以识别出大部分的单词。深度学习在语音-文本转换中的表现同样令人印象深刻，诸如百度等等公司的自然语言处理技术已经非常成熟，可以根据需要转换成任何一种语言文字，这就如同魔法一样神奇。

如同历史发展的必然规律，当达到某个拐点后会突然爆发，现在就处于数据科学的拐点处，利用深度学习实现对数据的最大化利用。

CPU 的训练时间是单个 GPU 的三十多倍。

数据并行是最常用的方式之一，每个处理器中都有一个全深度网络，将各个数据容器中的参数统一协调至参数服务器中。但是这并不是最好的方式。

一个更好的方式是模型并行计算，如图所示。

Nervana 的另一个优势在于 I/O 范围。通常处理器越多，深度学习的速度就越快。但是普通的工业系统随着处理器数目的增多，学习速度会达到某个极限值而不再增加。而 Nervana 平台不光能提高单个处理器的学习速度，而且还没有学习速度的上限，可以根据需要不断增加处理器个数。

我们仍在继续努力研发新的技术，力争明年能将现有速度提升十倍以上。

Nervana 平台是一个全栈式解决方案，基于 Nervana 深度学习框架平台和 Nervana 云，实现输入、构造、训练和部署。

深度学习作为 Nervana 的核心竞争力，已经围绕其构建了图像分类、目标定位、视频检索、文本分析、机器翻译等功能。

Nervana 拥有最快的深度学习库。

Nervana 的 Python 深度学习库界面友好，可扩展性强，支持多种深度学习模型，并且提供连接 Nervana 云的接口，还支持多后台（包括Nervana 引擎、 GPU 和 CPU）。

这是系统的网络界面，Nervana 为用户提供了大量可以直接调用的 API。

深度学习的作用在于建立一个发现数据中有用信息的框架，但要使这个框架平台运行速度更快、处理规模更大、解决方案涵盖面更广，仍然有很多困难。

Nervana 目前拥有最先进的深度学习平台，非常便于利用开发出的相关工具，从复杂关系中抽象出有代表性的目标特征。除了之前提过的各种应用外，还可以用于快速定位石油井、天然气田，以及农业精细化运营等。

via NextBigFuture

推荐阅读：

量子的飞跃：下一代D-Wave量子芯片计算速度能快1000倍

最新出炉——数据科学家最常使用的十大算法