AiRiA研究院公布“普惠AI，芯向边缘”战略，量化神经处理器Watt A1今年四季度流片

近年来，在万物智联的趋势下，物联网产业从概念炒作进入加速落地的实质性阶段，端侧数据处理能力与云端数据处理能力已变的同等重要，而AI芯片从“云端”走向“边缘”已呈现出不可逆的趋势。

不久前，中国科学院自动化研究所南京人工智能芯片创新研究院（AiRiA研究院）举办战略发布会，公布了其“普惠AI，芯向边缘”战略。同时，AiRiA研究院、赛格导航和高新兴物联完成了三方战略合作签约仪式，三方将共推出基于低成本芯片的自动驾驶算法解决方案。

会上，AiRiA研究院常务副院长程健透露，该团队自主设计的量化神经处理器（QNPU）定名为“Watt A1”，将在今年流片，预计可能在9~10月实现。活动现场还展出了AiRiA研究院的Q-box、Q-Engine等多项成果。会后，雷锋网与AiRiA研究院常务副院长程健和AiRiA研究院副院长冷聪进行了进一步交流。

普惠AI，进军边缘端训练

AiRiA研究院成立于2017年9月，依托中国科学院自动化研究所和南京市麒麟科技创新园，由中国科学院自动化研究所负责运营管理。

据介绍，AiRiA研究院的愿景是普惠AI，基于20余年技术积累，从软（核心智能算法）、硬（AI芯片）两方面进行布局，以期达到低功耗和高效性能，为各行各业创新科技赋能。

物联网时代，消费者对身边事物（端侧）智能化的期待越来越高，各行各业对AI的需求呈现爆发式增长。比如在自动驾驶、安防、工业机器人等场景中。然而，AI能力需求上升之际，其作为一项赋能各个行业的通用技术，却迟迟未能普及。

AI芯片走过云端训练、云端推理、边缘端推理后，正在对边缘端训练产生新的诉求。目前边缘端训练几乎空白，Watt的定位正是面向边缘计算的AI芯片，QNPU能在功耗、成本等受限的情况下保持高性能。

“研究院将一系列产品命名为Q，这是因为研究院的产品主要采用量化技术。这项技术具有低功耗和较高计算性能表现的特点，可以满足边缘计算对AI芯片有低成本、低功耗、低延时的要求。”冷聪表示，QNPU架构具有低位宽、计算架构和算子融合三大优势。其中的一大创新是将乘法全部用移位操作来替代，尽量减少对存储的访问，进一步降低功耗和时间。

Watt A1采用台积电28nm工艺，峰值算力达24Tops，帧效比达到6Tops/W，支持1080P四路视频实时检测，MobileNet图像分类达每秒8000帧。该芯片采用量化模型压缩技术，计算被极大程度简化，实现了完整片内计算，打破了内存墙瓶颈，将功耗和成本显著降低。

此外，程健还向雷锋网介绍道，QNPU可以做到在片上处理大规模神经网络，数据计算在片内处理，不必反复访问外部存储器，这避免了芯片计算领域备受关注的“内存墙”难题，可以大幅减少芯片自身的功耗，提高推理速度。

片内数据处理可以省却大量外部存储，将进一步缩小芯片的面积，所以该芯片流片后面积会相当小。“如此设计，功耗和成本都保持很低，计算能力依然保持较高，因此QNPU非常适合边缘计算对低功耗、低时延的计算场景。”程健说道。

据悉，QNPU的下一步计划就是向边缘端训练进发，然后实现“自主进化”的目标。

全栈式解决方案

除Watt A1芯片外，AiRiA研究院还推出了模型压缩工具QTrainer和深度学习推理引擎QEngine。

QTrainer通过低比特量化和剪枝在实现压缩功能的同时保持较高性能表现，支持客户开发自定义应用。

冷聪对雷锋网说明道，量化技术并非AiRiA研究院所独有，但在量化精度上达到3bit甚至更低是其他团队难以比拟的优势。“8bit已经很不错了，但是QTrainer的量化结果可以做到3bit、2bit甚至1bit。”

另一方面，QEngine提供算法专家定制合作和免费技术支持，不仅支持QNPU，也支持客户自研硬件。与QTrainer及Watt A1一起，构成了普惠AI全栈式解决方案。

“AiRiA研究院是AI芯片的后来者，结合了自身优势并选择了发展前景最好的边缘计算方向。”程健对雷锋网说，“从这里切进去，一方面源于我们对市场的研判，一方面我们有十多年的技术积累来支撑我们的判断。”

他指出，AI芯片技术和市场正在快速变革，其应用与政策环境都带来了多重利好。芯片国有化关乎国家安全问题，无论是企业还是高校、研究院，都在探索AI芯片研究和落地的新思路。

随着物联网的繁荣及5G商用的迫近，边缘计算越来越成为热门，大有与云计算平分秋色之势。各大计算厂商、云业务服务商也纷纷面向边缘计算布局。过去的两年间，芯片公司、云计算巨头、AI算法公司等纷纷涌入云端训练与推理以及边缘推理领域，而边缘训练还是新兴领域，明显的格局尚未形成。

程健告诉雷锋网，边缘训练的一大好处是可以在边缘设备用实时实地数据进行训练个性化模型，同时无需将数据传输到云端，保障了数据隐私安全。边缘训练要解决的重点包括边缘端的小样本数据，以及在边缘端不标或少标数据的情况下实现无监督或半监督学习。

程健表示，AiRiA研究院会持续针对这些难题进行研究和探索。