随着Google、Microsoft和Facebook等巨头的大力投入，深度学习正在超越机器学习，人工智能来势凶猛。那么，如今人工智能最热门的技术趋势是什么？
黑匣认为，复杂神经网络、LSTMs（长短期记忆网络）、注意力模型（Attention Models）等十大趋势将塑造人工智能未来的技术格局。
感知和翻译等大多数神经网络的架构正变得越来越复杂，远非此前简单的前馈神经网络或卷积神经网络所能比。特别需要注意的是，神经网络正与不同的技术（如LSTMs、卷积、自定义目标函数等）相混合。
神经网络是多数深度学习项目的根基。深度学习基于人脑结构，一层层互相连接的人工模拟神经元模仿大脑的行为，处理视觉和语言等复杂问题。这些人工神经网络可以收集信息，也可以对其做出反应。它们能对事物的外形和声音做出解释，还可以自行学习与工作。
但这一切都需要极高的计算能力。早在 80 年代初期，Geoffrey Hinton和他的同事们就开始研究深度学习。然而彼时电脑还不够快，不足以处理有关神经网络的这些庞大的数据。当时AI研究的普遍方向也与他们相反，人们都在寻找捷径，直接模拟出行为而不是模仿大脑的运作。
随着计算能力的提升和算法的改进，今天，神经网络和深度学习已经成为人工智能领域最具吸引力的流派。这些神经网络还在变得更复杂，当年“谷歌大脑”团队最开始尝试“无监督学习”时，就动用了1.6万多台微处理器，创建了一个有数十亿连接的神经网络，在一项实验中观看了千万数量级的YouTube图像。
当你阅读本文时，你是在理解前面词语的基础上来理解每个词语的。你的思想具有连续性，你不会丢弃已知信息而从头开始思考。传统神经网络的一大缺陷便是无法做到这一点，而递归神经网络（RNN）能够解决这一问题。
RNN拥有循环结构，可以持续保存信息。过去几年里，RNN在语音识别和翻译等许多问题上取得了难以置信的成功，而成功的关键在于一种特殊的RNN——长短期记忆网络（LSTMs）。
普通的RNN可以学会预测“the clouds are in the sky”中最后一个单词，但难以学会预测“I grew up in France… I speak fluent French.”中最后一个词。相关信息（clouds、France）和预测位置（sky、French）的间隔越大，神经网络就越加难以学习连接信息。这被称为是“长期依赖关系”问题。
（长期依赖问题 | 图片来源：CSDN）
“注意力”是指神经网络在执行任务时知道把焦点放在何处。我们可以让神经网络在每一步都从更大的信息集中挑选信息作为输入。
例如，当神经网络为一张图片生成标题时，它可以挑选图像的关键部分作为输入。
神经图灵机（Neural Turing Machine）就是研究者们在硅片中重现人类大脑短期记忆的尝试。它的背后是一种特殊类型的神经网络，它们可以适应与外部存储器共同工作，这使得神经网络可以存储记忆，还能在此后检索记忆并执行一些有逻辑性的任务。
（模仿人类短期工作记忆的神经图灵机 | 图片来源：arXiv）
卷积神经网络（CNN）最早出现在计算机视觉中，但现在许多自然语言处理（NLP）系统也会使用。LSTMs与递归神经网络深度学习最早出现在NLP中，但现在也被纳入计算机视觉神经网络。
此外，计算机视觉与NLP的交汇仍然拥有无限前景。想象一下程序为美剧自动嵌入中文字幕的场景吧。
多个团队以不同方法大幅压缩了训练一个良好模型所需的素材体量，这些方法包括二值化、固定浮点数、迭代修剪和精细调优步骤等。
虽然NIPS 2015上没有什么强化学习（reinforcement learning）的重要成果，但“深度强化学习”研讨会还是展现了深度神经网络和强化学习相结合的前景。
在“端对端”（end-to-end）机器人等领域出现了令人激动的进展，现在机器人已经可以一起运用深度和强化学习，从而将原始感官数据直接转化为实际动作驱动。我们正在超越“分类”等简单工作，尝试将“计划”与“行动”纳入方程。还有大量工作需要完成，但早期的工作已经使人感到兴奋。
批标准化（batch normalization）现在被视作评价一个神经网络工具包的部分标准，在NIPS 2015 上被不断提及。
创造新的神经网络方法需要研究者，还需要能将它们迅速付诸实践的方法。谷歌的TensorFlow是少数能够做到这些的库：使用Python 或 C++等主流编程语言，研究者可以迅速创作新的网络拓扑图，接着在单一或多个设备（包括移动设备）上进行测试。
正在生成分享图...
包永刚