8月19日下午,由雷锋网主办,清华数据派THU承办的第二期“GAIR大讲堂CVPR清华专场”活动圆满结束,本次活动共吸引来自北京各大高校100多名同学前来倾听。AI科技评论作为独家合作媒体也前往活动现场进行了报道。
当日虽酷暑难耐,现场还是座无虚席。部分同学因天气太热拿起了人手一份的活动宣传页扇风降温,也没选择离开活动场地,这足以看出他们对本次活动的关注热情。
四位分享嘉宾分别是:
清华大学自动化系三年级博士生 段岳圻
Momenta 研发总监&联合创始人 孙刚
中科大&微软亚洲研究院联合培养博士生 郑贺亮
中科大&微软亚洲研究院联合培养博士生 邱钊凡
段岳圻分享的论文题目是:Learning Deep Binary Descriptor with Multi-Quantization (多量化深度二值特征学习) 他分别从四个方面介绍了他的论文研究:背景介绍,文章方法,实验结果,参会心得。
图中「存储库图片特征」和「特征匹配」为什么标注橘红色了呢?段岳圻介绍道,像训练模型、提取库图片特征都可以线下花几个月搞定,而存储库里的图片特征要一直存储在云端里,不然输入的图片没有办法进行特征对比。在线部分中的特征匹配也是需要很多轮的特征对比和匹配,所以做了重点标注。该论文用的是非监督深度学习方法,非监督或弱监督学习是未来发展趋势,大名鼎鼎的杨立昆(YannLeCun)教授曾说过,非监督学习是让机器获得常识的一个尝试。
文章方法介绍:深度二值特征学习因其存储和匹配的高效性,近年来在学术界持续受到关注。现有的深度二值特征学习方法采用符号函数对实值特征进行二值化,未能考虑数据分布,从而导致了较大的量化损失。这篇论文将二值化过程看作非监督多量化问题,提出了基于K-自编码网络的深度多量化算法,并将其应用于深度二值特征学习,提出了多量化深度二值特征学习,降低了二值化造成的量化损失。实验结果证明了本文方法的有效性。
最后段岳圻同学也分享了CVPR 2017的参会心得。
第二位分享嘉宾是Momenta 研发总监、联合创始人孙刚博士,分享题目是:ImageNet冠军模型SE-Net详解。
孙刚博士不仅是Momenta 研发总监、联合创始人,同时还是高性能并行计算系统专家、大规模图像识别专家、ImageNet 2017 图像分类冠军、ImageNet 2016 场景分类亚军。这篇论文作者提出了一种新颖的神经网络模块称为Squeeze & Excitation(简称SE),以此大幅提升模型的精度。通过Squeeze 和Excitation操作,SE模块自动对特征重新分配权重,增强对识别有用的特征,而抑制无效或收益甚微的特征。在引入极少计算和参数量的情况下,将现有绝大多数网络结构的性能大幅提升。
第三位分享嘉宾是中科大&微软亚洲研究院联合培养博士生郑贺亮。郑贺亮在大四开学时就进入微软亚洲研究院实习,期间在同一实验室师兄师姐们的鼓励下,首次投CVPR论文就被选中。他的论文题目是:Look Closer to See Better: Recurrent Attention Convolutional Neural Network for Fine-Grained Image Recognition(精细化物体识别中基于递归注意力模型的卷积神经网络)
近年来,基于弱监督的精细化物体识别问题倍受关注。现存的主流方法分两种:对于有判别力区域的定位和对精细化特征的学习。在这篇CVPR文章里,郑贺亮和其他的作者通过设计一种RA-CNN的网络结构,将不同尺度的重要区域综合起来进行分类,实现了定位和精细化特征学习之间的相互促进,在精细化物体分类的任务上取得非常理想的结果。
「You are not alone」你并不孤单。在实验室中每个人研究的课题都不一样,但是到大会上会有很多workshop,每个方向都有很多人研究。你可以找到兴趣相同的朋友 ,甚至可以深入讨论实验的细节,有一种彼此相通的感觉。
「Paper is not the end」发表论文并不是终点。到大会上你会发现大牛研究的都是一条线,而不是一个点。他们发的论文只是这条线上的某个点,在研究过程中他们是遵从自己的一个思路的。所以我们在做学术研究时也要慢慢形成自己的方法论,而不仅仅是找到解决问题的方法。
「Research changes the world」科研改变世界。到大会上才能真切感受到自己做的学术研究成果真的可以影响世界,改变世界。
第四位嘉宾是中科大&微软亚洲研究院联合培养博士生邱钊凡。他分享论文题目是:Deep Quantization: Encoding Convolutional Activations with Deep Generative Model (基于深度生成模型的卷积层特征提取整合)
邱钊凡列了一个提纲,从八个方面依次介绍了自己目前所在做的研究方向。
深度卷积神经网络目前在不同的识别问题上体现出优异的性能,而如何从神经网络的卷积层中提取特征并做出整合分析成为了进行研究的一个基本问题。他的这篇分享的论文中提出了基于深度生成模型的卷积层特征的提取整合方案,并将最终得到的全局特征应用在不同分类问题当中。实验结果表明,在图片精细分类和视频动作识别两个问题上,该方法均体现出较好的性能。
论文介绍完后他也没有忘记和大家分享参会心得:
AI科技评论:最后问几个大家比较关心的问题吧,怎样才能写出一篇高质量的论文?写论文的过程中有哪些点要侧重,比如算法,思路这些?
郑贺亮:我当时也是被同实验室师兄师姐的科研热情所感染,尽量以一种积极的心态去做实验,拿出一种论文必能投中的自信心态去做实验。在方法上掌握了问题该用什么办法去解决,然后总结成一种思路,再赋予它含义,最终写成paper。
论文的引言(introduction)部分比较耗费精力,要学会讲故事不仅要表达清楚自己的观点和出发点,还要想到别人会有什么疑问,以及可能引起别人争论的地方。争论的地方是否是该论文的缺点,如果是的话,要采用什么办法才能解决这个缺点,这个过程是我和小老板考虑的主要内容,从中也学到了很多东西。
AI科技评论:以Momenta 为例,招人的过程中比较看重学生的哪些素质?或者有哪些要求?
孙刚:基本的招人原则就是首先要看科研方向和我们需求的方向是否一致。对于研究方向不是太一致,如果这个人很聪明或者在面试过程中表现出的思维方式是我们所欣赏的,也是可以的。另一个要求就是招的人必须要在某一方向非常强,任何一个方向都可以。Momenta比较青睐有专长的同学。有意愿的同学可以给我们发邮件talentoverflow@momenta.ai。
AI科技评论(现场观众):面试的核心考点是不是算法?如果算法能力不是太好怎么办?
孙刚:在某方面是不是特别强是一个方面,另外也不会因为某方面不擅长就完全否定一个人,比如候选人的思维非常活跃,可以根据一个问题提出创新型方案,但编程能力不是太好,这也是没问题的。我们会通过一个综合的评定,会根据候选人擅长的部分量身打造一个职位。
AI科技评论:三位都已经发表过顶会论文了,那么你们在做学术的过程中有没有遇到过哪些坑,需要提醒大家去避免的?
邱钊凡:我觉得最重要的一点还是要理解你在干什么。刚开始做学术你可能会拿到一个项目课题(topic)或者看到别人做一个课题,你也想去做。但是你在做这个的过程中,可能比较重要的一点是在于你是否真的知道这个课题的意义,你做的这个点的提高为你带来什么,或者为你的课题带来什么。另外需要有一些前瞻性的视野,在你看别人工作时除了看到他们在做什么,为什么这样做之外,还要知道他的这个思路还能用来做些什么,他的课题方向还可以做些什么。就算不是自己相关的工作,也可以去思考。
孙刚:我比较认同钊凡所说的。我本科到博士再到工作,最大的进步并不是说自己在科研,技术上的进步,主要还是自己思考问题的方式、逻辑的进步。做学问的时候,自己要仔细考虑一下,我做这个究竟是为了什么,自己喜欢做什么,也要根据实际情况,来看一下做的这个事情是否能达成。在做具体事情之前有一个完整的规划,包括对自己未来职业上的规划。这些方面,我觉得是比做学问更值得大家思考的问题。
郑贺亮:我觉得他们说的特别对。选题特别重要,如果你选的不是现实中需要解决的问题,那研究再深也没有什么价值。所以说选题还是要慎重考虑,一方面是要结合自己的兴趣,另一方面研究的这个确实是社会需要解决的问题。另外研究过程中,不要只为了发现一个方法来研究,而是要总结出一套方法论来,也就是说你的背后要有一个思想一直在指导你,你发的每篇论文都是慢慢地走向你最终的目的。在看别人发的论文也要看到他们背后的那个思想是什么。
AI科技评论(现场观众):如果自己实验室的方向和深度学习不是太相关,差不多就是一种自学的状态,怎么能在这个领域更深入一些,或者如何设计一个自学的路线?
孙刚:我其实也有过一段这样的经历,当时我做topic和老板所研究的也不太一致,这种情况下,自己的成长确实比较慢。在这种情况下,你可能要和老板商量下,能不能通过实习的形式来和更多的人交流,来改变这一情况。另外,就是要看你自己了,老板有时要求你必须做的,你也不想做,确实比较痛苦。我们公司有几个这样极端的例子,有个同事干脆就辍学了,他当时学的是物理,他觉得物理要作出一些成果,需要比较长时间的的假设检验过程。每个人时间都有限,肯定要挑选一些假设检验周期比较短的事来做。当时他就放弃了物理专业,然后从计算机零基础开始学习人工智能,现在已经是这个领域非常牛的人了。
AI科技评论为大家整理了本次活动现场PPT下载地址:链接:http://pan.baidu.com/s/1kUIzBWr (密码:xbvt)。另外,8月26日下午2点,雷锋网“GAIR大讲堂CVPR哈工大深圳专场”活动将在哈工大深研院A栋104教室举办,名额有限,欢迎报名参加!雷锋网报名地址:https://www.leiphone.com/activity/view/id/3