雷锋网按:本文作者李一雷,UCLA博士生,矽说(微信号:silicon_talks)主笔。本文为作者在阿甘live关于AI芯片的主题分享实录,原标题为《人工智能时代已来,AI芯片路在何方?》,首发公号“阿甘金融”,雷锋网获授权发布。
一、芯片行业的演进路线
芯片行业的整体发展始自上世纪60年代,一开始是指数型发展,所以有了每18个月集成度翻一番的摩尔定律,可以说当时的发展是非常快的。摩尔定律背后的逻辑是说,随着工艺制程的进化,同一款芯片的制造成本会更低,单位面积晶体管数量提升导致相同的芯片所需要的面积缩小;而如果工艺制程发展速度过慢,则意味着芯片制作成本居高不下,导致利润无法扩大。但是,如果孤注一掷把所有的资本都用来发展新制程,则风险太大,一旦研发失败公司就完蛋了。
摩尔发现当时市场上成功的半导体厂商的制程进化速度大约是每年半导体芯片上集成的晶体管数量翻倍,于是写了著名的论文告诉大家这个发展速度是成本与风险之间一个良好的折中,半导体业以后发展可以按照这个速度来。
可以说,摩尔定律背后的终极推动力其实是经济因素,它给市场带来的积极影响是,随着半导体工艺制程的进化,芯片的性能以指数级增长,从而带动了电子产品性能大跃进式发展,电子市场一片生机勃勃。在摩尔定律提出的前三十年,新工艺制程的研发并不困难,但随着晶体管越来越小,越来越接近宏观物理和量子物理的边界,高级工艺制程的研发越来越困难,研发成本也越来越高。如果工艺制程继续按照摩尔定律所说的以指数级的速度缩小特征尺寸,会遇到两个阻碍,一个是经济学阻碍,另一个是物理学阻碍。
经济学阻碍是,随着特征尺寸的缩小,芯片的成本上升很快。这个成本包括NRE成本(Non-Recurring Engineering,指芯片设计和掩膜制作成本,对于一块芯片而言这些成本是一次性的)和制造成本(即每块芯片制造的成本)。有人计算过,以现在的最新工艺,一块芯片的NRE要到1000万美元以上。如此高昂的NRE意味着需要非常非常高的芯片生产量才能去摊薄这个成本。换句话说,如果芯片的产量不到,那么你就没有能力去使用最新的工艺,只能沿用较旧的工艺。这就部分打破了摩尔定律 “投资发展制程-芯片生产成本降低-用部分利润继续投资发展制程”的逻辑。
而物理学的障碍主要来源于量子效应和光刻精度。晶体管太小就会碰到各种各样的问题,比如当特征尺寸缩小到10nm的时候,栅氧化层的厚度仅仅只有十个原子那么厚,这时便会产生诸多量子效应,导致晶体管的特性难以控制。
我认为,现在芯片行业的发展已经到了瓶颈期,接下来的发展策略有三种,分别是More Moore, More than Moore和Beyond Moore。第一种More Moore,意思是继续按照摩尔定律的老路走下去,继续缩小晶体管尺寸;第二种More than Moore,意思是首先芯片系统性能的提升不再单纯地靠晶体管的缩小,而是更多地靠电路设计以及系统算法优化。其次集成度的提高不一定要靠把更多模块放到同一块芯片上,而是可以靠封装技术来实现,例如Intel的EMIB,TSMC的InFO等等(苹果的处理器就用了InFO技术);第三种Beyond Moore,意思是干脆不用CMOS器件而是去研发一些新的器件,不过这个目前看起来还比较遥远。未来估计是会More Moore结合More than Moore,随着时间推移More than Moore比重越来越大。
其实我对未来还是蛮悲观的,这个瓶颈期如果没有新器件诞生的话,应该会持续5年10年甚至更长一段时间。就像钢铁行业,它早已进入平缓期,也没什么特别新的技术,如果这个行业想要有比较大的发展,那除非是发现新的材料可以替代钢。半导体行业也一样,什么时候出来新器件结束这个瓶颈期我也不知道,有的时候科学上的事情就是很偶然,可能突然就发现某种材料可以用了,但如果你找不到新材料,就是没办法有很大突破。
二、NV/Google/Intel/AMD在AI芯片的不同战略
其实人工智能计算还是分很多领域,芯片应用大概有两个极端:一个是用于云端服务器的高功耗高计算能力的芯片,走的是高性能超级计算机(HPC)的路子;另一个是用于终端(比如手机)的人工智能芯片,这个就特别注重低功耗,对计算能力的要求不是特别高。
在云端服务器这个领域,因为要处理海量的数据,Nvidia的GPU已经成为服务器不可或缺的一部分,但Nvidia自己目前还没有打算大规模自己做服务器,因此在人工智能的云端市场,Nvidia提供的是硬件而非平台。而在终端这个领域,Nvidia基于GPU的人工智能平台一方面功耗太大,另一方面过高的计算能力反而导致成本过高,因此无法与定制芯片抗衡。其实,Nvidia的人工智能平台最具优势的应用场景是上面两种情况的中间,即数据量中等、对计算能力要求还比较高、对功耗有一定要求但是并不苛刻的地方,比如ADAS市场。Nvidia人工智能平台无论计算能力(10-100TOPS)还是功耗(10-100W)都能完美地符合要求,因此它主打自动驾驶市场并不奇怪,它在2017年1月份举办的CES上也主要发布了自动驾驶相关的产品。
Intel的话,从三个方面来说吧。第一,在云端市场,它是最大的玩家,并且正在积极准备与Nvidia抗衡,因为Intel在HPC方面的业务本来就是驾轻就熟,而Nvidia进入HPC还没有几年,只能算这个市场的new player。大概是在2013年的时候,人们才发现原来GPU可以用于深度学习,之前根本不知道这个事情。说回Intel,它在收购Altera之后推出了基于FPGA的专用深度学习加速卡,可以在云端使用。另外Intel收购Nervana后正在积极推广结合其技术为AI优化的Knight Mill至强处理器,目标也是在云端。第二,在车载端,Intel与Mobileye和BMW结成了自动驾驶联盟,Mobileye提供传感器芯片和算法,Intel提供云端计算平台,BMW提供汽车。第三,在移动端,Intel收购了Movidius,但是尚未看到大的动作。所以我预期,移动端的人工智能芯片,如果有的话还是高通之类的厂商会比较有优势。
再说Google,它推出来的芯片TPU主要是自用的。这个有点像IBM,IBM最早出的Power PC系列芯片也是为了给自己的server用。所以Google也是类似的思路,它的芯片就没有打算给别人用,换句话说它没有真的打算进入芯片这个市场,和别人竞争。
最后说AMD,它在GPU和CPU的技术都处于追赶者的位置,在AI方面比较低调,在CES上公布新产品的时候也都没有主动去提人工智能的事情。最近的新闻大概是和阿里巴巴合作云端服务作为试水。AMD的总体思路还是求稳,不刻意去跟Nvidia争谁先谁后,它就等你们把这些东西先做出来再说,自己就很踏实地把显卡技术做好。其实GPU天生就符合深度学习的要求,只要AMD把自己芯片的运算能力做上去,它很快就可以杀入人工智能这个领域中来。
三、Nvidia面临的机遇和挑战
2016年是人工智能爆发的一年,借着这股东风,Nvidia的股价在去年飞升三倍有余,令人惊叹。目前看来,Nvidia的技术成长空间还有很多,因为Nvidia正在转型成为平台公司而不是硬件公司,GPU会是它的核心但是不是全部,它要做的是围绕GPU的一个平台、一个生态。与GPU配套的各种设施,例如开发平台、开发者社区和包络编程语言在内的开发工具也非常重要。举例来说,在笔记本PC市场,其实ARM的处理器性能完全可以和Intel相抗衡,但是为什么基本没有笔记本电脑用ARM的处理器?就是因为ARM在笔记本PC上没有任何生态。一旦平台和生态做起来,即使它的技术发展不像原来那么生猛,我相信Nvidia的商业价值仍然可以得到保证。假如明天AMD做出来一个和Nvidia性能一模一样的GPU,它一时半会儿也还是无法取代Nvidia,因为Nvidia有自己的CUDA、CUDNN等配套的开发工具。
而Nvidia可能会面临的最大风险在于,它现在的股价完全由人工智能来支撑,但人工智能的应用会不会像投资者想象中发展的那么快是存疑的。其实非常明显现在人工智能的应用有很大的泡沫,大家预期它在一两年之内会起来。但是如果它在一两年之内没有起来或者说某些应用没有能真的落地,那时候投资者可能会有些反冲。现在是一个overshoot,发现没有达到预期之后就会有一个undershoot,几次震荡之后慢慢回到理性估值。
四、FPGA的玩家和留给创业公司的机会
FPGA全称“可编辑门阵列”(Field
Programmable Gate
Array),其基本原理是在FPGA芯片内集成大量的数字电路基本门电路以及存储器,而用户可以通过烧入FPGA配置文件来来定义这些门电路以及存储器之间的连线。这种烧入不是一次性的,即用户今天可以把FPGA配置成一个微控制器MCU,明天可以编辑配置文件把同一个FPGA配置成一个音频编解码器。现在FPGA和人工智能相关的主要机会是云端服务器的可配置运算
,目前这个领域的玩家主要是两个,Xilinx和Altera,后者已经被Intel收购。
当下FPGA遇到的一个最关键的问题就是开发者生态。传统CPU也好GPU也好,编程是比较容易的,使用的是语言是C++、Java,大家都很熟悉,而且已经形成了成熟的体系,开发环境、生态系统还有开发者的社区这些都很好。但是FPGA开发通常需要使用硬件描述语言,如Verilog、VHDL等等,这些对于程序员来说需要大量的时间才能掌握。这样的话FPGA的生态就无法发展,因为门槛高意味着做的人少,做的人少意味着知名度低,相关项目数量少,这又导致了无法吸引到开发者参与项目,如此便形成了恶性循环。
针对这种情况,Xilinx就发布了一个比较能改善生态的东西,叫做可重配置加速栈,这些用于云端的FPGA将会使用部分重配置方案。什么意思呢?通常FPGA配置过程包括硬件描述语言的综合、布局布线、最后产生比特流文件并写入以完成配置。在这个过程中,综合以及布局布线花费的时间非常长,可达数小时,而最后比特流文件写入以及配置可以在一秒内完成。用于云端的FPGA方案为了实现快速应用切换,预计将会使用硬IP(即针对某应用硬件加速的比特流),并在需要使用该应用时快速写入该比特流。在未来,云端FPGA的生态预计将不止包括Xilinx,还会包括许多第三方IP提供商,最后形成类似App Store的形式让使用者方便地选购对应的硬件加速方案并实时加载/切换。
目前国内FPGA水平较弱,而且FPGA需要一整套从软件到硬件的流程,需要深刻的积累,对于创业公司并不是一个最好的方向,更适合国家科研项目。但是创业公司使用FPGA,做FPGA的解决方案,基于FPGA开发或者做FPGA上的IP,是个不错的机会。换句话说就是你不去手机,而是做APP。其实这个方向国内也已经有不少公司在做了,我知道的比较出名的有深鉴科技。
五、玩人工智能软件的正确姿势
目前人工智能软件最大问题是如何把技术真正落实到解决消费者的需求,一些算法非常有技术含量,但是落地并不容易,例如图像分类等等。我觉得现在做的比较好的软件是语音识别/交互类,比较典型的是讯飞输入法,前阵子在锤子手机的发布会上被秀了一把。
图像类的人工智能算法目前是最火的方向,比语音类要火很多,但是目前看来图像算法大多数只能作为一个大系统的一部分。比如一个安防系统,图像算法可以用来检测一个人是否带刀,但是把这个软件单独拉出来卖就不一定能成立了。当然也有单独做软件的,例如Prisma,这个之前在Instagram很火的软件就是利用深度学习来做图像风格变换。总结一句话就是,人工智能相关的软件当然是一个非常好的创业方向,只是要找准这个创新的卖点,光有好的技术其实是没什么大用的。
在人工智能领域,国内也出现了一批还不错的公司,我有在关注。在图像检测/人脸识别领域,有依图科技、Face++、商汤科技三只领头羊,它们主要为银行和一些安防系统提供人脸识别的解决方案。在医疗领域,就是用人工智能帮忙人类判定疾病也有很多公司在做,一图正在进军这个领域。在自动驾驶领域,软件方面做的比较有名的是图森、地平线。其实地平线摊子铺得比较大,硬件软件都做,除了辅助驾驶外,还跟美的合作在做智能家居。还有一些比较小众的领域,比如鉴黄,就是图谱在做。硬件的话,比较有名的是寒武纪。
六、芯片行业的未来除了人工智能,还有……
最后再说回到整个芯片行业的发展上来。有人问,芯片行业是不是有一个强者恒强的规律,出现黑马的几率有多大。我认为是这样的:在芯片这个地方,它是每隔一段就会换一个应用方向,90年代时候最火的是多媒体电脑,也就是PC端,后来就变到了移动端,最近则是人工智能。众所周知,Intel是PC时代永远的老大,在那25年的时间里基本碾压所有竞争对手,但移动设备这个方向它就完全错过了。所以说,在同一个领域里基本上是强者恒强,很难有超越,但是在这个领域强,不代表在下一个领域也会强,在“时代”交替的时候是最容易出黑马的。我们在评判企业价值的时候,要对芯片的技术应用有一个判断,要非常清楚下一个所谓的风口在哪里。
现在芯片应用最火的方向毫无疑问是人工智能了,我还同时看好另外一个方向,就是医疗。我相信在医疗电子领域还有很多可以做的事情,当然这个方向的发展还要倚赖一些基础设施的建设,比如在线的云平台和大数据库等等,这个部分在这里就不详细展开了。
讨论区:以下为参与live的人提问,作者回答
问:莱迪思半导体(LSCC),大疆无人机供应商FPGA未来有潜力,期待分析。
答:目前中国FPGA进口第一是华为,第二就是大疆。大疆使用FPGA量很大,然而未来从成本考虑很大可能会用ASIC代替。
问:目前国内的人工智能相关芯片的发展情况如何,主要有哪些公司在做?离国际先进水平有多大的差距?
答:国内人工智能芯片有寒武纪,深鉴等初创公司,也有华为等大公司在布局,与国外差距不大,尤其是寒武纪已经走在世界前列。
问:AI芯片目前主要的几种商业模式有哪些?
答:一般有两种,一种是直接卖芯片,还有是卖IP,IP的话是芯片里的一部分,可以集成在其他公司的芯片里。
问:图像分类可否用在发票图像处理?比如发票、车票这些,拍照后,经过处理,变成会计分录。这个市场无限大。
答:图像分类当然可以用在发票分类上,实现手写和数字识别。关于票据问题,是的,市场是很大,目前美国支票存取已经是自动识别了,用手机app拍照就行。
问:Nvidia一半以上的收入还在传统游戏显卡市场吧,云计算和人工智能短期增速如果不尽如人意的话,股价回调就不可避免了。
答:关于NV的股价,我认为这位朋友的分析很有道理。
问:想请教一下,FPGA在用电量是不是一般ASIC的3X,晶片大小是不是为ASIC的2X?
答:FPGA的用电量在ASIC的十倍以上,造价也在十倍以上。
问:您知道做鉴黄的除了图谱科技,还没有其他的团队?
答:鉴黄的技术壁垒不高,关键是渠道要搞定。
问:我这收集了2个观点,能不能帮我评价一下呢?第一个:Nvidia在人工智能芯片市场的真实统治力,可能比股票市场上的亮眼成绩更为显著。尽管市场上也存在其他深度学习训练(training)和预测(Inference)的解决方案,但试问各家AI企业,无论其内部的模型训练,还是销售给最终客户的智能产品,绝大多数还是采用了Nvidia的GPU方案。第二,值得关注的是,就异构计算的主要应用机器学习来看,分为训练和推断两个部分。其中,训练市场占整个机器学习市场的5%,其余95%都是推断市场。Steve Glaser认为,GPU仅仅是关注机器学习的训练市场,而推断市场才是FPGA关注的领域,这恰恰是机器学习未来发展的重要组成部分。
答:第一个判断是对的,第二个判断的话,FPGA在云端会用得比较多,inference在终端还是要靠ASIC。
问:李博士,AI芯片对人工智能应用的影响是什么?AI芯片离大规模商用还有多远?
答:AI芯片技术上离大规模商用不远了,但是使用专用AI的ASIC市场还没完全起来,很多公司在观望,Intel等公司在慢慢布局,新推出的Xeon Phi服务器CPU里面加入了部分的AI加速。
问:能否比较一下寒武纪和Nvidia的ai芯片的差别?
答:寒武纪是专用ai加速芯片,nvidia的gpu是通用计算单元只是比较适合计算深度学习。
问:IBM的沃森在医疗上的运用效果如何?
答:IBM Watson在医疗上的应用已经有不少报道,大数据和AI在医疗上得到应用一定会成为现实。目前医学的研究都是基于数据的研究,之前的研究样本量都不大,使用了大数据加人工智能后医学的发展一定会大大加速。
问:再问一个:如果谷歌最终选择了使用TPU,会不会对英特尔和英伟达这些芯片制造商构成巨大的威胁?因为他们的在线业务是如此巨大。他们比地球上任何其它公司购买或运营的计算机硬件都要多,而且随着云计算的重要性持续增加,这个差距也只会越来越大。
答:会有一些,但不会是最大的影响,因为google的服务器在整个服务器市场占比例不大。
问:高通在CES展上推出骁龙835,适合深度学习,这款芯片和高通在人工智能方面能不能解读一下?
答:snapdragon 835对于ai的支持主要在于dsp对于深度学习算法支持的design kit。
问:感谢分享,我的问题是目前人工智能变为实际应用,变成类似移动互联网这样的产业最大的难点是什么?目前看到的一些应用主要在智能客服等,还有c端的应用主要是类似echo等的家庭智能音箱,未来可以预见的最大应用是自动驾驶和医疗领域的应用,其他呢,其他通过人工智能更深度的改变会在哪里?
答:人工智能变为现实的难度在于如何落地。人工驾驶和医疗是两个重要的点,然而人工驾驶必须能通过各种极端情况下的验证才能上马。辅助驾驶离现实比较接近。医学使用目前看起来比较接近实用,因为AI比人做得好不难,主要障碍在于基础设施不好大数据很难获得,例如病历如何联网。AI离使用最接近的是金融领域,目前高频交易,诈骗检测等已经用上了AI。