资讯 人工智能
此为临时链接,仅用于文章预览,将在时失效

秒懂!何凯明的深度残差网络PPT是这样的|ICML2016 tutorial

作者:李尊
2016/08/29 18:41

联合编译:Blake、高斐

雷锋网注:何凯明博士,2007年清华大学毕业之后开始在微软亚洲研究院(MSRA)实习,2011年香港中文大学博士毕业后正式加入MSRA,目前在Facebook AI Research (FAIR)实验室担任研究科学家。曾以第一作者身份拿过两次CVPR最佳论文奖(2009和2016)——其中2016年CVPR最佳论文为图像识别中的深度残差学习(Deep Residual Learning for Image Recognition),本文为何凯明博士在ICML2016上的tutorial演讲以及相关PPT整理。相比学术论文,他在演讲PPT中深入浅出地描述了深度残差学习框架,大幅降低了训练更深层次神经网络的难度,也使准确率得到显著提升。

秒懂!何凯明的深度残差网络PPT是这样的|ICML2016 tutorial

秒懂!何凯明的深度残差网络PPT是这样的|ICML2016 tutorial

深度残差网络——让深度学习变得超级深

ICML 2016 tutorial

何凯明——Facebook AI Research(8月加入)

秒懂!何凯明的深度残差网络PPT是这样的|ICML2016 tutorial

概览

从浅到深

从10层到100层

从100层到1000层

秒懂!何凯明的深度残差网络PPT是这样的|ICML2016 tutorial

| 介绍部分

秒懂!何凯明的深度残差网络PPT是这样的|ICML2016 tutorial

介绍——深度残差网络(Resnet)

图像分类

对象检测

语义分割

等等

秒懂!何凯明的深度残差网络PPT是这样的|ICML2016 tutorial

Resnet在ILSVRC 和COCO 2015上的表现

在五个主要任务轨迹中都获得了第一名的成绩

ImageNet分类任务:“超级深”的152层网络

ImageNet检测任务:超过第二名16%

ImageNet定位任务:超过第二名27%

COCO检测任务:超过第二名11%

COCO分割任务:超过第二名12%

秒懂!何凯明的深度残差网络PPT是这样的|ICML2016 tutorial

深度网络的革命(从浅层到越来越深的层级)

在ILSVRC2010年左右还主要是浅层网络,大部分需要手动调教特征。在ILSVRC2012年时,出现了8层的网络——AlexNet,降低了10%的错误率。而后ILSVRC2014出现的VGG和GoogleNet是相当成功的,它们分别将层级提到了19层、22层,错误率也降低到了7.3、6.7。到去年的ILSVRC2015,我们的ResNet将层级提到了152层,将错误率降到了3.57

秒懂!何凯明的深度残差网络PPT是这样的|ICML2016 tutorial

深度网络的革命

AlexNet, 8层 (ILSVRC 2012)

秒懂!何凯明的深度残差网络PPT是这样的|ICML2016 tutorial

深度网络的革命

AlexNet, 8层 (ILSVRC 2012)

VGG, 19层 (ILSVRC 2014)

GoogleNet, 22层 (ILSVRC 2014)

秒懂!何凯明的深度残差网络PPT是这样的|ICML2016 tutorial

深度网络的革命

AlexNet, 8层 (ILSVRC 2012)

VGG, 19层 (ILSVRC 2014)

ResNet, 152 层 (ILSVRC 2015)

秒懂!何凯明的深度残差网络PPT是这样的|ICML2016 tutorial

深度网络的革命

PASCAL VOC 2007——中间层数代表视觉识别的层数

HOG, DPM——浅层——34%的对象检测率

AlexNet (RCNN)——8层——58%的对象检测率

VGG (RCNN)——16层——66%的对象检测率

ResNet (Faster RCNN)——101层——86%的对象检测率

秒懂!何凯明的深度残差网络PPT是这样的|ICML2016 tutorial

ResNet在COCO测试中的对象检测成绩

秒懂!何凯明的深度残差网络PPT是这样的|ICML2016 tutorial

ResNet十分简单,且容易学习

Facebook AI Research’s Torch ResNet

Torch, CIFAR-10,使用 ResNet-20到 ResNet-110, 训练代码等

Lasagne, CIFAR-10, 使用 ResNet-32 和 ResNet-56 以及训练代码等

Neon, CIFAR-10, 使用预训练的 ResNet-32到 ResNet-110 模型、代码等

Torch, MNIST, 100层

Neon, Place2 (mini), 40层

6个月内超过200词引用(在2015年12月发布在arXiv上后)

秒懂!何凯明的深度残差网络PPT是这样的|ICML2016 tutorial

深度残差网络——从第10层到100层

秒懂!何凯明的深度残差网络PPT是这样的|ICML2016 tutorial

逐层深入

秒懂!何凯明的深度残差网络PPT是这样的|ICML2016 tutorial

仅是简单的层数堆叠吗?

秒懂!何凯明的深度残差网络PPT是这样的|ICML2016 tutorial

秒懂!何凯明的深度残差网络PPT是这样的|ICML2016 tutorial

较高分辨率空间

一个较深的网络模型不应当具有较高的训练误差

通过构建形成的分辨率:

  • 原始层:由一个已经学会的较浅模型复制得来

  • 附加层:设置为“恒等”

  • 至少具有相同的训练误差

优化难题:随着网络层数不断加深,求解器不能找到解决途径

秒懂!何凯明的深度残差网络PPT是这样的|ICML2016 tutorial

深度残差学习

H(x)是任意一种理想的映射

希望第2类权重层能够与H(x)拟合

秒懂!何凯明的深度残差网络PPT是这样的|ICML2016 tutorial

残差网络

H(x)是任意一种理想的映射

希望第2类权重层能够与F(x)拟合

使H(x) = F(x) + x

秒懂!何凯明的深度残差网络PPT是这样的|ICML2016 tutorial

如果说恒等是理想,很容易将权重值设定为0

如果理想化映射更接近于恒等映射,便更容易发现微小波动

秒懂!何凯明的深度残差网络PPT是这样的|ICML2016 tutorial

相关研究——残差表示法

编码残差向量;强大的较浅表示法。

量化残差向量;高效最近邻搜索。

解决残差次要问题;高效PDE求解器。

秒懂!何凯明的深度残差网络PPT是这样的|ICML2016 tutorial

网络“设计”

所有的3x3卷积层(几乎所有)

空间规模/2=>#过滤器x2 (~每一层的复杂度相同)

简约的设计风格;保持设计风格的简约性

无隐层fc

无信息流失

秒懂!何凯明的深度残差网络PPT是这样的|ICML2016 tutorial

训练

秒懂!何凯明的深度残差网络PPT是这样的|ICML2016 tutorial

CIFAR-10 实验

秒懂!何凯明的深度残差网络PPT是这样的|ICML2016 tutorial

ImageNet (图像网络)实验

秒懂!何凯明的深度残差网络PPT是这样的|ICML2016 tutorial

秒懂!何凯明的深度残差网络PPT是这样的|ICML2016 tutorial

与VGG-16/19相比,该模型具有较低的时间复杂度

秒懂!何凯明的深度残差网络PPT是这样的|ICML2016 tutorial

图像网络分类误差排行前5的网络模型

秒懂!何凯明的深度残差网络PPT是这样的|ICML2016 tutorial

讨论

表征,优化,归纳

秒懂!何凯明的深度残差网络PPT是这样的|ICML2016 tutorial

学习深度模型存在的一些问题

如果能够找到最佳表征方法,将具备构建模型的能力,以拟合训练数据。

如果模型A的分辨率空间是B的父集,模型A的分辨率更高。

找到最佳表征方法的可行性

并不是所有的模型都能非常容易地得到优化

倘若训练数据是拟合的,测试的性能如何?

秒懂!何凯明的深度残差网络PPT是这样的|ICML2016 tutorial

残差网络(ResNets)将如何解决这些问题?

残差网络在模型表征方面不存在直接的优势(只是实现重复参数化)

但是,残差网络允许逐层深入地表征所有的模型

残差网络使得前馈式/反向传播算法非常顺利进行

在极大程度上,残差网络使得优化较深层模型更为简单

残差网络未直接处理学习深度模型过程中存在的归纳问题

但是,更深+更薄是一种好的归纳手段

另外,对于残差网络的详细介绍可见何凯明博士在2016年CVPR中的最佳论文——图像识别的图像识别中的深度残差学习(Deep Residual Learning for Image Recognition)

秒懂!何凯明的深度残差网络PPT是这样的|ICML2016 tutorial

在论文中介绍了一个深层次的残差学习框架来解决精准度下降问题。我们明确地让这些层适合残差映射,而不是寄希望于每一个堆叠层直接适合一个所需的底层映射。形式上,把H(x)作为所需的基本映射,让堆叠的非线性层适合另一个映射F(x):=H(x)-x。那么原映射便转化成:F(x)+x。我们假设优化剩余的映射,比优化原来未引用的映射更容易。如果身份映射是最佳的,那么将剩余的映射推为零,就比用一堆非线性层来适应身份映射更容易。

公式F(x)+x可以通过“快捷连接”前馈神经网络实现。快捷连接是那些跳过中的一层或更多层。在我们的情景中,快捷连接简单的执行身份映射,并将它们的输出添加到叠加层的输出。身份快捷连接添加既不产生额外的参数,也会增加不计算的复杂度。通过反向传播的SGD,整个网络仍然可以被训练成终端到端的形式,并且可以在没有修改器的情况下很容易的使用公共资料库(例如Caffe)。

我们在ImageNet上进行了综合性实验展示精准度下降问题,并对我们的方法做出评估。我们发现:

(1)特别深的残差网络很容易优化,但当深度增加时对应的“平面”网(即简单的堆栈层)表现出更高的训练误差。

2)深度残差网络能够在大大增加深度的同时获得高精准度, 产生的结果本质上优于以前的网络。

相似的现象同样出现在了CIFAR-10集中,这表明了优化的难度,以及我们方法影响的不仅仅是类似于一个特定的数据集。我们在这个超过100层数据集中提出了成功的训练模型,并探讨了超过1000层的模型。

在ImageNet分层数据集中,通过极深的残差网络,我们得到了非常好的结果。152层的残差网络在ImageNet中是最深层的网络,同时相比于VGG网络仍然具有较低的复杂性。我们的集成在ImageNet测试集中有3.57%排前5的误差,并且在2015ILSVRC分类竞争中取得第一名。这种极深的陈述在其它识别任务方面也有出色的泛化性能,并带领我们进一步赢得了第一的位置:在ILSVRC和COCO2015竞赛中的,mageNet检测,ImageNet定位,COCO检测,和COCO分割方面。这有力的证据表明,剩余的学习的原则是通用的,我们期望它适用于其它的视觉和非视觉问题。

PS : 本文由雷锋网独家编译,未经许可拒绝转载!

via Kaiming He

长按图片保存图片,分享给好友或朋友圈

秒懂!何凯明的深度残差网络PPT是这样的|ICML2016 tutorial

扫码查看文章

正在生成分享图...

取消
相关文章