随着深度学习的发展,神经网络被广泛应用于各种领域,模型性能的提高同时也引入了巨大的参数量和计算量。模型量化是一种将浮点计算转成低比特定点计算的技术,可以有效的降低模型计算强度、参数大小和内存消耗,但往往带来巨大的精度损失。尤其是在极低比特(<4bit)、二值网络(1bit)、甚至将梯度进行量化时,带来的精度挑战更大。
本次直播,我们邀请了商汤研究院--链接与编译团队的两位研究员,分享团队在模型量化方面的的一系列研究工作,其中包含CVPR 2020、ICCV 2019等多篇与北航刘祥龙老师团队合作的论文成果。
一、课程信息
主题:如何做模型量化,训练极低比特网络
时间:4月9日(周四)20:00-21:00
观看链接:↓↓↓
http://www.mooc.ai/open/course/786?from=leiphonecolumn_mooc0408
二、分享提纲
1、如何训练极低比特(<4bit)的网络
2、如何训练高效的二值化网络
3、如何用量化技术来加速模型训练
4、模型量化在实际场景的落地
5、模型量化与网络结构搜索结合
三、嘉宾介绍
余锋伟
商汤科技研究院高级研究员
链接与编译组负责人
余锋伟研究员本硕毕业于北京航空航天大学计算机学院。曾获得MOT16视频多目标跟踪冠军,ASC世界大学生超级计算机竞赛一等奖,华为奖学金,研究生国家奖学金等。现作为内部开源技术中台的架构师之一,负责训练加速、自动模型部署、模型量化、神经网络编译器等技术的研发和落地。在ECCV、ICCV、CVPR、ICLR上共发表5篇论文。
龚睿昊
商汤科技研究院见习研究员
链接与编译组成员
龚睿昊同学曾获得商汤科技未来之星、CCF优秀大学生、北京市三好学生、国家奖学金等。现主要研究方向为深度学习模型的量化加速技术,在ICCV、CVPR、ICLR、PR等期刊会议上发表6篇论文(其中1篇一作,4篇二作),期间负责量化框架的设计和开发,支持量化模型在多业务线项目落地。
四、直播报名
扫码添加AI研习社顶会小助手(AIyanxishe2)微信好友备注“论文解读+量化”后进入报名微信群,获取课件和直播间地址
雷锋网雷锋网雷锋网