Twitter 又一力作：对Few-shot learning中的优化进行建模 | ICLR 2017

雷锋网AI科技评论按：ICLR 2017 于4月24-26日在法国土伦举行，雷锋网AI科技评论的编辑们在法国带来一线报道。在这个深度学习会议举办之际，雷锋网也将围绕会议议程及论文介绍展开一系列的覆盖和专题报道，敬请期待。

据雷锋网了解，这是一篇来自Twitter的研究员给ICLR 2017投递的论文。目前论文已经被录用而且还获得了ICLR委员会的高度评价。想知道研究员在论文中又提出了什么新的研究思路？或者ICLR委员会对这项工作的评价如何？那就赶紧跟随小编来看看吧。

以下内容是AI科技评论根据论文内容进行的部分编译。

论文摘要

虽然当下深度神经网络算法在大规模数据集上取得了巨大的成功，但是这类算法在少量学习（Few-shot Learning）任务中的表现却往往不如人意，这是因为在少量学习任务中要求分类器能够在经过每个类别的少量样本训练之后快速具备泛化能力。

现在大家通常都认为，要使得一个基于梯度下降优化算法的分类器能具备较好的表现就需要在大量训练样本上进行多次训练迭代。而在本次的论文工作中，来自Twitter的研究员推出了基于LSTM的元学习模型（LSTM-based meta-learner model），该模型可以学习到精确的优化算法来训练另外一个用于少量学习任务的神经网络分类器。

• 图1：该图展示了元学习（Meta-learning）过程的一个示例。图片分为两大部分，上半部分的表示元训练集（Meta-train set），记为D_meta-train，其中包含有若干个灰色矩形框分别表示每一条样本，而矩形框内部又被虚线划分为左右两个部分，虚线左侧的包含有训练集D_train，而虚线的右侧包含有测试集D_test。该示例所展示的是一个5种分类别的类任务，其中在每一条样本的训练集上都包含有5个类别的样例（每一类分别被标注为1-5），然后测试集中则包含有2个样例用于评估模型。图片下半部分的表示元测试集（Meta-train set），记为D_meta-test，它的定义方式与D_meta-train完全一致，但是D_meta-test包含有D_meta-train中没有覆盖到的类别。此外，上图中虽然没有展示出来，但是数据集中还划分了元验证集（Meta-validation set）用于确定模型中的超参数。

基于LSTM的元学习模型的参数化特性允许它针对在需要一定量更新的特定场景下学习合适的参数更新方式，同时也可以学习到那些分类器网络参数的通用初始化方式，从而加速分类器的训练和拟合过程。

并且在论文中，研究员们还证明了这种元学习模式与用于少量学习的深度度量学习技术相比具有很强的竞争力。

ICLR 委员会的定稿意见

该论文的作者提出了一种元学习模式来解决少量学习的问题。论文中提到的算法非常有趣并且实验结果也非常具有说服力。这是篇非常适合时宜的文章，它将在社区中受到广泛的关注。三位评审员都给出了一致的意见——接受，而且其中两位还显得特别热情。论文的作者也回复了其他一些对该论文持负面态度的审稿人所提出的疑问。不过该论文还需要继续完善以便把其中的更多细节阐述清楚。总的来说，这篇论文已经被接受了。

匿名审稿人3

这项工作提出了一个基于LSTM的元学习框架，该框架可以学习到优化算法以用于训练其它的学习算法（这里是神经网络算法）。本文通篇都写得很好，并且主要材料的介绍也写得很清楚。本文的核心：绘制Robbins Monroe更新规则和LSTM更新规则之间的并行，并利用它来满足少量学习的两个主要目标这一点非常有趣。

匿名审稿人2

这篇论文通过将随机梯度下降法（SGD）的更新规则解释为具有可训练参数的门控循环模型（Gated recurrent model），从而提出了一种全新的元学习方法。这个创意对于迁移学习（Transfer learning）的研究具有重要意义。论文的结构清晰，但是在某些细节方面的描述还可以提升。

via Optimization as a Model for Few-Shot Learning