雷峰网按:始于2016年的“全球人工智能与机器人大会”(GAIR),历经五年,见证数次潮水的转向,成为目前为止粤港澳大湾区人工智能领域规模最大、规格最高的学术、工业和投资领域跨界盛会。
在12月10日举办的第六届全球人工智能与机器人大会(GAIR 2021)“集成电路高峰论坛:国产高端芯片之路”论坛上,多位业界大咖分享了RISC-V在中国MCU、DSP、AI边缘芯片等方面的应用与发展。
嘉楠科技副总裁汤炜伟带来了《基于RISC-V的边缘AI芯片的技术革新与商业化实践》主题演讲,分享了他对于RISC-V AI芯片商业化前景的思考以及嘉楠科技在相关领域的最新技术成果。
在汤炜伟看来,如今是边缘计算爆发及芯片架构创新的黄金时代,而RISC-V是一个非常有前景的计算架构,除了开源、免费、开放等特点外,也代表了经典指令集+一个自定义扩展的技术架构方向,使得所有人都能在标准化平台下根据需求做灵活的裁剪,这些特性使RISC-V有希望成为芯片领域Android。
汤炜伟表示,AI正在从云端智能下沉到边缘端和设备端,面对碎片化场景时如何兼顾高性能与低功耗,对于芯片的设计体系架构提出了很高要求,这当中除了通过采用先进制程降低功耗外,架构创新也是一条重要的技术革新道路,而嘉楠科技一开始便选择了通过RISC-V架构研发AI芯片。
据介绍,嘉楠科技已推出第一代芯片K210并正在量产新一代的K510,其芯片在多个领域的产品上得到应用并获得国内外客户认可,未来嘉楠科技将会继续坚持RISC-V自研及AI处理器核心IP自研的技术路线。
以下为汤炜伟现场演讲的全部内容,雷峰网作了不改变原意的编辑与整理:
我是来自嘉楠科技的汤炜伟,我们是做高性能芯片的企业,2016年开始切入人工智能芯片领域,我们对于RISC-V有深刻的感情,一开始就切入RISC-V的体系架构。我简单讲讲技术革新和商业化实践的动作。主要分为四部分:一是我们是谁;二是怎么看边缘计算和AI;三是技术革新;四是商业化落地。
我们嘉楠科技定位是数字新基建的芯片厂商,在区块链和人工智能领域都保持领先,区块链这块我们在2013年交付全球首款区块链的ASIC芯片,ASIC领域首个交付7纳米的芯片厂商。我们做过14次的芯片流片,全是量产流片,成功率达到百分之百,现在在流片生产上保持着多晶圆厂的策略。
人工智能这块我们的品牌叫勘智(勘探大智慧),英文叫Kendryte,我们于2016年启动业务,2018年底交付全球首个基于RISC-V架构的人工智能芯片,到现在将近三年的时间出货超过百万颗,并且逐步从55纳米一路走到5纳米的先进制程,公司是2019年在纳斯达克上市。
IDC去年预测2025年边缘设备达到557亿台,75%将在云端平台,产生的数据相比六年前增长四倍以上,这么多边缘计算设备里产生的数据也是持续爆发式增长。
体系架构领域,有著名的科学家说现在是体系架构创新的黄金时代,从以前比较单一的CPU和GPU,走向FPGA、DSA、ASIC等专用架构。架构百花齐放时代前所未有,诞生如此多做人工智能、做GPU和ASIC的公司。
从CPU来看,X86架构统治PC和服务器情况已经有松动的迹象,像ARM一路从物联网和手机端逐渐往上进攻,走到PC和服务器。
而RISC-V也是从相对入门的领域、从物联网设备起步,随后大量的其它设备开始采用RISC-V架构。
在我们看来RISC-V一定是一个非常有希望、非常有前景的计算架构,除了开源、免费、开放等特点之外,我认为它代表了将来经典指令集+一个自定义扩展的非常好的技术架构方向,所有人可以在相对标准化的平台上灵活自定义和扩展,我们寄希望它是芯片领域的Android。
AI+IoT方面,我们看到的趋势是从场景化到设备化、多样化,在吃住行游购物娱乐、元宇宙、教育、产业领域大量的IoT设备——包括包括机器人、无人机、自动驾驶机器等都获得广泛的应用。
AI在这些领域得到广泛应用的前提,我认为是场景化的应用相对比较简单,从简单做起然后再逐步地复杂化,只要东西够简单、够单一,设备又能解决一定程度上的产品和场景的问题,就有可能成为爆款——像前几年的智能音响,这几年的扫地机,只要它的功能相对比较单一又能解决问题,一定会成为爆款。
另一个趋势是,AI从云到边,即我们所理解的智能下沉,从几年前所有的AI都在云上——英伟达、AMD等公司的计算量大部分在云端的训练上。通过很多科学家不断探索出相对可以生产产业化、批量可落地的模型,再逐步渗透到边缘端和设备端,在模型下沉的过程中,我们逐步实现AI全面赋能AIoT。
AIoT和云端有区别,云端的成本低大家都选在云端,很多的设备边缘端、终端有非常多云端做不多的事情,比如说低延迟、隐私计算,确保流量带宽用得比较少,包括边缘端的功耗可以做得更低,算力更高,成本更低。
AIoT究竟需要什么?需要包括视觉、语音和其他的手段,数据进来了可能要计算——分为多种类型的CPU、GPU、ASIC异构的计算,算完的成果要通信、上传、回传,还有控制,需要把这几个过程联动起来,甚至在低功耗的时候不需要启动,有一个MCU就可以把这些东西控制起来。
这里有大量的技术点和需求点,我认为是双螺旋的过程,AI的需求端左侧会面临各种各样的细化、分化的需求,包括全场景的AI和多模态的需求,现在大家看智能家居或智能工业场景、安防都越来越多使用到视觉、语音、图像等多种类型的传感器输入。
AI的应用上又有很多的分化,有的是低频使用的场景,比如说电池类,可能唤醒一下、启动一下、工作一下又关机了。很多领域我们倾向于将由人工介入的智能变成机器智能,比如说智能门锁,只要刷脸或是有指纹就开锁,不需要人去看图像,人去介入门锁;或是判断工业上的故障,减少人工的介入。这些对供应链交付是非常大的挑战。
AIoT对技术端也提出很多新的需求,设备化又非常碎片化的场景,怎么设计体系架构才能让我们的场景实现高性能和低功耗?这是一个挑战。
此外,产品体系和创新体系的挑战,设备化、场景化的地方,每个设备、每个场景都有不同的需求,怎么样实现从能用到好用?从好用到恰好好用,这是在性能和成本之间的平衡,这个平衡可能非常重要。
其实AI芯片的各部分像拼图一样,图像、语音、高速接口、NPU、内存、安全、外设子系统,DSP都是独立的系统, 芯片有NPU的单元、DMA、存储、外设等,这些东西如何有机的耦合在一起可以工作、可以顺利地转起来需要很多的协同。
针对上面这些需求和挑战,在AI芯片的研发上我们做了几个方面的创新:
一是综合研发创新,芯片设计全流程做到软件、硬件嵌入、系统软件的协同。
这个“全流程”是市场调研到芯片规格定义再到中间的全流程,我们有一些自己的心得,在架构设计这端从CPU架构、模块架构设施一起走,多线程往前推,中间的SoC验证仿真,协同仿真,我们都要有团队可以上去做。后面到量产、交付也需要软件协同的工作。
二是架构创新,我们要做到RISC-V的自研、KPU、NPU方面的自研,工具链的自研,这是我们认为将来长期发展的核心竞争力。
像是神经架构网络加速器自研,有自己的独特数据流和定点协同的设计等。我们自己设计了比较大的GLP,有很好的指令解析和分发。
精度这块,通过很好的量化、压缩和融合等技术,可以做到0.5%以内的无损压缩;然后工具链部分,基于TDM的前端,支持TF、PyTorch、ONNX、TVM,底部也有很多的优化,全系产品线都是协同一致的。
三是先进工艺,从7纳米到5纳米,再到3D,这方面都需要持续的迭代演进。
我们在区块链这块7纳米到5纳米、包括FINFET3D封装上有一些竞争力,包括近阈值的电路设计,0.75伏降到0.3伏,芯片的功耗分为静态和动态,动态基本上是0.75和0.3的平方关系,功耗可以得到显著的降低。标准单元设计优化,包括算法的开发优化、散热解决方案、高能效、高计算密度。5纳米这块我们积累了很多自研的IP,包括高速的接口,都会用到人工智能和计算的产品线上。
四是产品和市场,发现赛道的趋势、需求的趋势、市场的趋势,我们如何精准地抓到它
讲完技术方面的内容,现在我们讲讲产品和商业化落地方面。
在第一颗芯片勘智K210之后,我们正在量产的是K510,还在规划、要做的是K230,将来在2系、5系和8系的产品线上会逐步地迭代,做到每年1到2颗。大的行业视角分为三类:一是门锁、门禁、STEAM教育;二是对AI算力和图像要求较高的安防、泛安防、智慧城市、准车载领域;三是Edge Computing(边缘计算),8系将会覆盖2倍的算力,它是以机器视觉为主。
我们的第一代产品K210在2016年启动研发,2018年发布,基本上是全球首款RISC-V商用的边缘芯片,是真正做到量产出货的。
K210配备RISC-V双核64位处理器带FPU,支持模块化及定制化设计,支持自定义指令,架构比较简单,平台方面支持Linux、RTT、Free-RTOS,嵌入式机器学习我们支持MicroPython。
K210在欧美得到医疗公司的认可,在STEAM教育、通行和新兴的场景——比如两轮车、智能车上也都有不错的商用前景。STEAM方面我们跟优必选、大疆合作做机器人、编程小车、机器狗,这些会在大家熟知的一线、二线城市的课堂里展开。
这是我们几个产品的典型图(下图),包括用K210做的智能图像读表器,门禁考勤机、无感门禁摄像头,欧洲客户做的血氧仪、胶囊机器人,美国客户做的眼球追踪,以及深圳客户做的教育编程小车等产品。
这是我们跟合作伙伴做的四足机器狗(下图),基于K210,可以进行视觉、人脸识别,你甚至可以跟它玩石头剪刀布。它是四足的,每个足上三轴,等于是12轴的运动机器狗,它支持图形化的编程和Python编程,不仅可以玩现有内嵌的十几、二十种算法,同时还可以自定义开发,这也是非常受国内和国外爱好者的欢迎。
我们的第二颗芯片K510是定位中高端的端侧推理芯片,采用全新一代的RISC-V CPU,DSP主频可以达到800兆,另外这是新一代DSP,具备2D、3D降噪,WDHL,鱼眼校正、硬件3A等功能。
K510所搭载的KPU神经网络处理器技术也走到了第二代,功耗进一步降低。这个的应用场景会比上一代更往高端走一些,比如说类似于无人机、视频会议、机器人、STEAM教育、工业相机等等这些场景,这些场景里都积累了一批先期试用的客户,正在做紧密的合作。
最后,我们的初衷就是做好中国芯片,以中国的创新服务全球。
从深圳企业来讲很多也是这样的,包括大疆、华为也都是从中国走向世界。技术路线上我们将坚持RISC-V自研和人工智能处理器核心IP的自研,包括先进工艺的IP自研。我们也是热忱地希望和深圳、国内国外的客户紧密合作,能把RISC-V的生态发扬光大,能把国产AIoT芯片做到非常好的水平。
欢迎大家合作交流,谢谢。
雷峰网雷峰网雷峰网(公众号:雷峰网)