雷锋网 AI 科技评论消息,继年初张潼博士离职腾讯 AI lab,又传来重磅人事变动——贾扬清离职 Facebook。
昨日,有用户在知乎爆料,贾扬清已离职 Facebook,他的下一站将是阿里硅谷研究院,职级为 VP。从各路传言看来,这已经得到诸多业内人士确认。
贾扬清拥有加州大学伯克利分校计算机科学博士学位、清华大学硕士学位和学士学位,曾于新加坡国立大学、微软亚洲研究院、NEC 美国实验室、Google Brain 工作,在离职 Facebook 之前,负责 Facebook 前沿 AI 平台的开发以及前沿的深度学习研究。
他最为人所熟知的成就当属在伯克利期间开发的深度学习框架 Caffe。在接受《程序员》杂志专访时,谈到开发 Caffe 的前因后果,他表示,2013 年,因为 Alex Krizhevsky 在 ImageNet 的成功,他开始考虑把 CNN 的特征用到心理学的实验上,于是就写了 Decaf。Decaf 需要基于 cuda-convnet 来训练,他们通过 Decaf 验证了深度学习特征的优异的可移植性,这应该算是他开始考虑实现一个完整的深度学习框架的初衷。
2013 年下半年,他获得了 NVIDIA 学术捐赠计划的一块 K20 GPU,当时他正好在写毕业论文,空闲之余准备把这个计划实现出来。
「我从9月下旬开始,先自己攒了一个机器,然后大概花了两个多月的时间写了整个架构和 ImageNet 所需要的各个实现。起初纯粹是因为兴趣使然作为一个业余的项目,后来因为越来越觉得有意思(写代码可能和玩游戏上瘾差不多),花在 Caffe 上的时间逐渐变成 20%、40%、80%,后来在上下班的地铁上也开始编程序,毕业论文倒是没有太重视,所幸我的导师开明,也没有说什么。Caffe 写完以后在我们组里面试用,大家都觉得它挺好使 - 比如 Jeff 和 Ross 利用 Caffe 的训练代码实现了 R-CNN。到了 11 月份的时候,我开始考虑是不是要开源 Caffe,然后 12 月份正式开源。」
在 Caffe 开源之后,开始吸引了很多其他的用户和开发人员。NVIDIA 开始帮助他们做更多的加速,Berkeley 成立了 Berkeley Learning and Vision Center 来组织和吸引工业界的研究人员共同开发多个开源项目(包括 Caffe)。他毕业以后还在继续和伯克利的同事开发 Caffe,同时在 Google 继续进行深度学习的应用和研究;他们在伯克利也建立了一个核心的 Caffe 团队。
他在随后大牛讲堂的公开课上也总结了 Caffe 之所以广受欢迎,可能是因为以下四个特点:
1、 稳定的模型架构
Caffe 通过 Protobuf 来定义一个网络的结构,而这个由 Google 开源的库具有优秀的版本兼容性。随着 Caffe 的框架源码的不断更新迭代,之前定义的网络结构依然能兼容解析,模型仍然能正确加载运行。
2、较好的设备抽象
合理的设备抽象能够精简代码,提高框架适用性。在这方面 Caffe 做了比较好的尝试,模型的训练和使用与不同的平台耦合比较低,只要平台能解析网络结构并读取二进制的模型参数,就能运行该模型。这样大大拓展了框架的应用范围,自然更加符合用户的使用需求。
3、清晰的说明教程
如何让首次接触到框架的人通过说明教程就能最快地熟悉运用,这对于一个新面世的框架来说尤为重要。以 Caffe 为例,用户只需要将官方文档的例子跑一遍,基本就能清楚 Caffe 的操作过程和细节,这给它的广泛传播提供了最坚实的基础。
4、开放的模型仓库
Caffe 还维护了一个 Model Zoo, 许多论文的作者会将模型发布到这里,其它用户可以利用这些材料轻松地将模型复现,还可以在 github 上参与开发讨论,从而更深入地学习实践。
详情可参见雷锋网此前报导:Caffe作者贾扬清,教你如何打造优秀的深度学习架构
2016 年 2 月,贾扬清从 Google 离职,加盟 Facebook,2017 年 4 月,Facebook 开源深度学习框架 Caffe2。Caffe2 最大的特点就是轻量、模块化和扩展性好,可以方便地为手机等移动终端设备带来 AI 加持,让 AI 从云端走向终端。它在 Caffe 基础上进行了重构和升级,一方面集成了诸多新出现的算法和模型,另一方面在保证运算性能和可扩展性的基础上重点加强了框架在轻量级硬件平台的部署能力。
对于为何发布 Caffe2,贾扬清回答到,「最重要的是工程实践上把很多东西做到极致,比如说 NVidia 给的早期测试数据,在 P100 上面跑 ResNet50,C2 可以到 235 帧每秒,第二位大概可以到 216 帧,前东家大概能到 180 左右。无他,只不过就是框架的 overhead 小而已。说大也不大,但是在 Facebook 这种 5% 的 performance 都能分分钟上下以 million 记的地方,什么事情都得做到这样才行。另外跨平台也不是吹的,比如说我今天晚上试了一下怎样支持苹果 Watch:Support WatchOS build by Yangqing · Pull Request #321 · caffe2/caffe2。15 行代码搞定,你来告诉我哪个框架能那么简单。」
关于 Caffe2 的详细内容,请参见雷锋网此前报导:开源神经网络框架Caffe2全介绍
2018 年 4 月,Facebook 宣传将 Caffe2 代码并入 PyTorch 库。贾扬清表示,将这两个框架整合起来可以极大提升开发效率,为广大开发者提供便利。
「PyTorch 有优秀的前端,Caffe2 有优秀的后端,整合起来以后可以进一步最大化开发者的效率。目前 FAIR 大概有超过一半的项目在使用 PyTorch,而产品线全线在使用 Caffe2,所以两边都有很强的动力来整合优势。」他如是说道。
那么,该如何评价他此次离职。借助他离职 Google 加盟 Facebook 时发表的言论,「正常换工作而已,大家不要太过关注」。当然,也期待此次加盟阿里,贾扬清带领阿里团队在硅谷创造出新的成绩。