独家|ICML第一天论文精选

ICML第一天的行程即将开始。这一天来自深度学习各个研究领域的专家们将对自己的论文和研究做出演讲。ICML选中的论文主要关注的类型都是基础理论类的研究，如深度学习主题的论文大多数关注于如何有效的建立学习模型和训练模型，而比较少最终应用的论文。ICML论文关注领域非常广泛。我们在周一的深度学习论文中选出了几篇我们认为可能比较有价值的文章，它们分别来自不同的主题板块，供大家参考：

深度学习模型的一次性生成（One-Shot Generalization in Deep Generative Models）

这是Google DeepMind的一篇论文，本文主要探讨如何让机器学习系统对新事物的学习速度能像人一样快，或者至少接近这个目标。我们都知道目前的神经网络要经过至少上千甚至上万或更多的样本训练之后才能“学会”一个新的概念，人们一直在试图搞清楚为什么人脑通常只要一次的训练就能学会新的概念。在这方面的研究如果得到突破，可以极大的提升机器学习的效率。

入选理由：机器在运算方面的速度无人能及，但学习能力却相当羸弱，如果能增强学习能力，对机器学习的发展必定有极大推动作用

学会使用记忆来建立网络（Learning to Generate with Memory）

这是清华大学的三名学者的研究论文。目前“记忆”还是AI的弱项，记忆单元目前已经被广泛应用于增强深度神经网络在长远来看的应对能力和预测指令的能力上，但还很少被用于生成模型的过程（通过研究现有的数据生成新的数据）。这个研究提出了一项DGM的应用，使得算法可以有通过外部存储的信息来完善自己的能力

入选理由：我们曾经提到过：记忆力的缺失或许是目前机器语音助手未能普及的最大因素。与人水平相当的记忆力是机器与人正常对话的最重要前提之一。

英语和普通话的端对端语音识别（End-to-End Speech Recognition in English and Mandarin）

这是百度给出的一篇论文，吴恩达也参与其中。展现了一种既可以用于识别英语也可以用于识别普通话的算法思路。这种算法即使在吵闹的环境下、有方言口音的语音中、或不同的语言下都能有很好的表现。百度说他们在此取得的成就主要与对超级计算机的合理应用有关。

入选理由：该算法的优越性主要表现在可以排除方言和嘈杂的环境的干扰，希望它的价值确实有它说的那么大。

为什么算法在Tetris中可以很容易的做出大部分决定？或许所有序贯决策问题都可以呢？（Why Most Decisions Are Easy in Tetris—And Perhaps in Other Sequential Decision Problems, As Well）

增强学习主要用于控制类的应用，如机器人自动控制等，不过它同深度学习的交叉已经越来越多。ICML中的增强学习的研究主要集中于通过训练算法来玩游戏或建立竞争性的模型来研究其中的规律。

Tetris即俄罗斯方块，研究者发现，只要人们可以在不知道相应的行为会带来多少回报的时候也能很轻易的做出关于一件事的最优决定，那这件事就很容易被计算机解决。他们想到了一种将这种特性应用到算法里，可使算法的学习更具效率和速度的方法。

入选理由：玩游戏是检验算法效果的一个非常有效的方式，此文针对此推出了一种新的算法学习模式，很有新意。

Minecraft中记忆、感知和行为的控制（Control of Memory, Active Perception, and Action in Minecraft）

这个团队设计了一种新的玩Minecraft的RL任务。特点也是将“记忆数据”加入了算法中。记忆力的完善应该是未来AI的发展趋势，也是AI提升空间最大的地方。

入选理由：Minecraft是一款开放性游戏，让AI将这个游戏玩得有意义比让AI玩俄罗斯方块要难很多，而且这项研究也涉及了建立AI记忆的内容。

离散型深度特征抽取：一个理论和新的架构（Discrete Deep Feature Extraction: A Theory and New Architectures）

卷积神经网络的时间持续性特征抽取第一次成为数学理论是在2012年，而这篇论文考虑了一个对离散型变量进行特征抽取的方式，并且尝试建立一个围绕这个特性的数学理论体系。

入选理由：并非所有变量都能转化成连续的函数，让机器学习算法学到一种有效率的提取离散型特征的方法是很有必要的。

噪音激活函数（Noisy Activation Function）

这篇论文雷锋网已经全文翻译过，在深度学习的过程中，通过向函数中加入噪音，反而使得梯度饱和的现象得到了很大的缓解。点击查看

入选理由：反常识、反直觉的思路反而取得了很好的效果。

通过木块塔的例子学习物理直觉（Learning Physical Intuition of Block Towers by Example）

这是Facebook AI研究院的作品。团队使用了一个类似于木滑车的模型，木滑车是一种能帮助婴儿获得关于物理世界的感觉的玩具。Facebook AI研究院创建了一个3D的积木模型，再使其崩塌，使算法能够预测积木崩塌的轨迹、严重程度和获得关于其物理特性的一些“直觉”。就像人类对一个物品的物理特性会有的感觉那样。

入选理由：让AI拥有对物品的“物理直觉”是很重要的，举个例子：当机器人看到泥土地面时如果能明白它处在湿润状态时自己踩上去就会陷进去，就可以避免很多麻烦。

目前针对深度学习的研究还处于比较基础的阶段，不难发现，研究者们还是在试图从各种角度模拟人类的感知和思维方式，以期做出实用的人工智能。这是合理的思路，让我们期待周一的演讲在美国纽约的正式开始。