优必选悉尼 AI 研究院 AAAI 2018 顶会论文一览

雷锋网 AI 科技评论按：第 32 届人工智能顶级会议 AAAI 2018 在美国新奥尔良召开。在今年的 AAAI 上，优必选悉尼 AI 研究院共有 5 篇论文入选，其中 3 篇 oral，2 篇 poster。

在 AI 科技评论推出的数据库项目「AI 影响因子」中，优必选悉尼 AI 研究院已经凭借 4 篇 CVPR 录用论文上榜「AI 影响因子论文类目活跃企业」。优必选悉尼 AI 研究院也即将在五月份于 AI 慕课学院上做论文解读的直播分享，敬请期待。

论文摘要如下：

论文 1：Domain Generalization via Conditional Invariant Representation

为了将从源域的数据里学习到的模型泛化到将来的某个目标域，我们的方法希望学习到域不变的特征。以前的域自适应方法都是通过匹配特征的边缘分布 P(X) 来学习域不变特征，但是这种方法假设 P(Y|X) 在不同的域稳定不变，现实情况很难保证。我们提出通过匹配条件概率 P(X|Y) 并同时衡量 P(Y) 的变化来保证不同域之间的联合分布 P(X,Y) 相同。条件域不变特征通过两个损失函数进行学习，一个衡量以类为条件的分布差异，一个衡量以类别归一化的边缘概率分布的差异，从而达到匹配联合分布的效果。如果目标域的 P(Y) 变化不大，那么我们可以保证得到很好的匹配目标域的特征。

论文 2：Adversarial Learning of Portable Student Networks

学习具有较少参数的深度神经网络的方法是迫切需要的，因为重型神经网络的庞大的存储和计算需求在很大程度上阻止了它们在移动设备上的广泛使用。与直接去除权值或卷积核以获得比较大的压缩比和加速比的算法相比，使用教师网络-学生网络学习框架的模式来训练轻型网络是一种更灵活的方法。然而，在实际应用中，我们很难确定利用哪一种度量方式来从教师网络中选择有用的信息。为了克服这一挑战，我们提出利用生成对抗网络来学习轻型的学生神经网络，具体地，生成器网络就是一个具有非常少权值参数的学生神经网络，判别器网络被当作一个助教，用来区分学生神经网络和教师神经网络所生成的特征。通过同时地优化生成器网络和判别器网络，本文生成的学生神经网络可以对输入数据生成具有跟教师神经网络特征具有同样分布的特征。

论文 3： Reinforced Multi-label Image Classification by Exploring Curriculum

人和动物学习经过组织的知识比学习杂乱的知识更为高效。基于课程学习的机制，我们提出了一种强化多标签分类的方法来模拟人类从易到难预测标签的过程。这种方法让一个强化学习的智能体根据图像的特征和已预测的标签有顺序地进行标签预测。进而，它通过寻求一种使累计奖赏达到最大的方法来获得最优策略，从而使得多标签图像分类的准确性最高。我们在 PASCAL VOC2007 和 PASCAL VOC2012 数据集上的实验表明了，在真实的多标签任务中，这种强化多标签图像分类方法的必要性和有效性。

论文 4： Learning with Single-Teacher Multi-Student

本文研究了如何通过一个单一的复杂通用模型来学习一系列的轻量专用模型，即单老师多学生 (Single-Teacher Multi-Student) 问题。以经典的多分类和二分类为例，本文围绕着如何利用一个预训练的多分类模型来衍生出多个二分类模型，其中每个二分类模型对应不同的类别。在实际场景中，许多问题可以被看做这一范畴；例如，基于一个通用的人脸识别系统对于特定的嫌犯进行快速准确地判断。然而，直接使用多分类模型进行二分类操作的推断效率不高，从头训练一个二分类器的分类表现往往不好。本文通过将多分类器看做老师，将目标的二分类器看做学生，提出了一种门化支持向量机 (gated SVM) 模型。此模型中，每一个二分类器可以结合多分类器的推断结果给出自己的预测；此外，每个学生可以获得由老师模型给出的样本复杂度度量，使得训练过程更加自适应化。在实际实验中，所提模型取得了不错的效果。

论文 5： Sequence-to-Sequence Learning via Shared Latent Representation

受人脑可以从不同的模态学习和表达同一抽象概念的启发，本文提出了一个通用的星状框架实现序列到序列的学习。该模型中将不同模态的内容（外围节点）编码到共享隐表征（shared latent representation，SLR），即中央节点中。SLR 的模态不变属性可以被视为中间向量的高级正则化，强制它不仅捕获每个单个模态的隐式表示（如自动编码器），而且还可以像映射模型一样进行转换。因此，我们可以从单个或多个模态学习 SLR，并且生成相同的（例如句子到句子）或不同的（视频到句子）的模态信息。星型结构将输入与输出分离，为各种序列学习应用提供了一个通用且灵活的框架。此外，SLR 模型是内容相关（content-specific）的，这意味着它只需要对数据集进行一次训练，就可以用于不同的任务。