端侧AI普及，到底卡在哪了？

“我们的AI芯片设计出来了，但是没多少人能用起来。”这是两三年前端侧AI芯片CEO们的烦恼。

“面对十多款端侧AI芯片，选型就是一个难题。”一位AI应用的开发者在2022年依旧面对的难题是，“即便最终做了选择，面对上千页的开发手册，学习和开发门槛都很高。”

与云端AI面临的挑战类似，边缘和端侧AI软硬件的成熟度以及软硬的融合很大程度上阻碍了AI的普及，降低AI开发门槛，提升通用性成为了AI普及的当务之急。

当然，技术挑战还不是卡住端侧和边缘AI普及的唯一原因，商业层面也面临诸多挑战，比如应用场景众多，如何在众多的应用场景中形成一个良好的商业闭环？如何让传统行业也能轻松用上AI技术？

这其中，非常关键的一点就是提供打动消费者的使用体验。曾经火爆一时的智能音箱已经证明，不佳的使用体验只会让消费者迅速对新技术感到失望。要实现良好的AI产品用户体验，多传感器融合以及多种AI技术的应用成为了未来的发展方向。

那么，云边协同能否加速端侧AI普及？

端侧AI的三道槛

在智能音箱爆发的2018年，智能音箱里并没有用于实现AI功能的专用芯片，AI的算法也并不成熟，再加上整个行业的低价恶性竞争，体验不佳的智能音箱让众多尝鲜者很快放弃了这一AI“爆品”。

智能音箱非常好地反映出了端侧AI普及面临硬件、算法以及应用需求多样的三道槛。

这一次AI的浪潮得益于深度学习技术的发展，新的AI算法对算力提出了更高要求，促进了众多设计专用AI芯片公司的诞生，2016年左右涌现了大量AI芯片公司，这些公司的产品在2018年左右陆续推出。

2018年推出全球第一颗量产RISC-V商用边缘AI芯片，并出货了上百万颗芯片，2021年推出第二代AI芯片勘智K510的嘉楠科技对于AI的发展和应用颇有感触。

嘉楠科技副总裁汤炜伟对雷峰网(公众号：雷峰网)表示，“我们的第二代勘智K510的AI算力已经达到3TOPS，AI的硬件正在通过迭代成熟，工具链依旧有比较多的挑战。”

芯片的工具链很长，大体上可以分为前端和后端，前端的工具链主要做算法的优化，比如压缩、融合等，后端的工具主要负责调用芯片。

运行于芯片上的算法，则是边缘和端侧AI普及的第二道槛。

“针对端侧AI的算法太少，这直接导致了许多AI硬件没办法用起来。”一位AI从业者如此看待AI算法与AI普及的关系。

汤炜伟认为，“这个说法有道理，但不全面，算法肯定是影响最终效果和体验的因素，但算法不够好可能是因为应用场景太小没人愿意投入，或者那个场景的数据难以获取，增加了算法提升的难度。”

“AI算法从实验室环境到实际应用有非常多的挑战，在真实场景中AI算法很容易受到各种环境的影响。我认为边缘侧AI的算法可以分为三类。”汤炜伟表示。

一类算法是通用算法，比如图像检测和分割算法；一类是场景算法，比如人脸识别、人体姿态算法；还有一类是定制算法。

“AI算法的应用范围越窄，在具体的场景中就越精准，效果更好。但同时也意味着它可能会导致用户群体和体量更小。”汤炜伟认为。

边缘和端侧AI硬件和算法向前迭代的时候，就会遇到普及的第三道槛——应用多样，需求不同。

从AI语音到AI视觉，从单传感器到多传感器融合的智能硬件，从工业到农业再到智能家居，边缘AI的一大特点就是应用场景丰富，不同的应用场景对于芯片的性能和功耗，对于使用的算法的类型和精度，以及使用的场景都大不相同。此时，如果有一个通用的AI解决方案，将有助于AI的普及。

不过，汤炜伟认为，“短期内比较难有通用的AI解决方案，因为AI的算法还在不断迭代。另外，端侧和边缘的AI硬件采用的是ASIC专用芯片，并没有统一的标准，实现通用的AI解决方案难度比较大。”

实际上，边缘和端侧AI产品的开发当务之急是解决产品开发门槛高的问题。

云边协同是AI普及良药？

“十几款可选的AI芯片，每一种芯片的工具链都不一样，学习其中一种的门槛就很高，如何才能快速开发出AI产品？”这是AI开发者共同的难题。

芯片的选型无论对于中小型公司还是大型公司都是一个挑战，中小型公司支持两三个平台就已经非常吃力了，大公司有能力投入进行细致筛选，但周期很长，要选出一个能够长期合作的合作伙伴的难度也很大。

但无论选择哪个硬件平台，开发的门槛客观存在。因为端侧和边缘AI设备的开发涉及嵌入式开发的AI开发，懂嵌入式开发或者AI开发的工程师本来就很少，更别说既懂嵌入式又懂AI开发的人。

这就非常考验芯片公司的工具链和软件平台，有更加容易上手和高效的工具链实际上是所有AI芯片公司的核心竞争力。

“我们做软件工具链的时候利用了开源的优势，嘉楠AI芯片的SDK和应用实例的各种软件都已经开源，开源的好处在于新客户可以直接看详细的文档，大大降低了客户的使用难度，也降低了我们支持客户的难度。”汤炜伟说，“开源也有利于大家一起协作创新。”

据雷峰网了解，一个公司评估了市场上四五家AI芯片的产品，最后因为工具链以及算法损失精度更小选择了与嘉楠合作。

据汤炜伟介绍，嘉楠有自己开源工具链的沟通群，一群长期稳定做软件工具链的人能够方便的在群里沟通，反馈问题，这对他们提升工具链有很大的帮助。

好用的工具链确实能降低开发难度，但对于许多缺乏开发能力的开发者，更低门槛的云边一体的解决方案或许是更优的选择。

“今年上半年，我们合作伙伴的客户说想要做一个云边协同的应用，三方一拍即合一起做了一个大型的AI云边协同应用。”汤炜伟说。

这是一个海上渔船监测系统的云边协同AI解决方案，海上渔船本来就装有一些包括摄像头在内的多种检测渔船状态的传感器，会接入边缘网关进行数据处理，但由于渔船长期在海上，网络信号并不稳定，难以远程即时了解渔船的状态，渔船上的传感器也不能协同实现一些智能化的功能。

嘉楠联合AWS、智次方和客户，给每艘渔船安装上了基于K510的产品作为智能边缘网关。有了这个智能边缘网关，渔船上的摄像头采集的视频图像就能借助K510的AI能力，进行本地图像分析处理，对船员作业情况进行统计分析和识别，如果算法模型或者系统有迭代更新，可以在云端方便的控制进行更新。

同时，勘智K510上集成了AWS IoT Greengrass组件，可以简化整个系统的部署和管理，即使整个系统管理的船只规模变大，行驶在不同的海域，通过云端管理平台，都能及时的掌握设备的运行状态，实现实时监测系统的整体运行情况。

汤炜伟说，“传统的AI应用受限于终端的计算能力和网络条件，往往部署在云端，无论是处理及时性，还是系统运行成本，都有其弊端。随着技术的进步，采用边云协同的方案，可以充分利用云端灵活的管理系统和边缘端不断强大的计算能力，做到鱼与熊掌兼得，正成为很多应用场景的优选方案。”

云边协同对于AI普及更重要的价值在于，“我们和AWS的合作已经搭建好了一套云边协同的方案，已经提前做好了前期的开发和测试，客户在使用的时候就像‘搭积木’一样方便，除了海上渔船的应用，有许多客户也计划采用我们的云边协同的方案。”汤炜伟指出。

云边协同的AI解决方案对于包括像渔船、农业等传统行业应用AI展现出了极大的价值，对于助推边缘AI的普及，以及推动AI在更多领域的创新，都是一个显著的推动力。

接下来的问题是，端侧AI的机会在哪？

下一个端侧AI的爆款产品

端侧AI的上一个爆品，还是年出货量不到5000万的智能音箱。智能音箱之后，一直没有看到端侧AI的新爆品。

“端侧AI的竞争实际上非常激烈。”汤炜伟说，“之所以智能音箱之后没有现象级的单品，主要还是出货量的级别不够大，智能手机一年出货近14亿部，智能音箱高峰时候一年不到5000万的出货量，与智能手机相比差距很大，但相比许多终端AI产品的出货量已经很高。”

目前看来，扫地机器人可能有智能音箱的趋势，一年的出货量可以达到2000-3000万台。

汤炜伟也同时指出了未来边缘和终端AI智能产品的走向，他认为未来许多场景的AI产品不会只是用单纯的视觉或语音方案，将会是多传感器融合的产品，就像现在的智能门锁一样，既有指纹识别，也有人脸识别，还能用密码，这将是未来AI边缘和AI产品发展的趋势，智能家居的产品也将受益于智能手机和安防技术的下沉。

当然，更好的云边协同，也将让更多行业和公司用上AI技术。“将来会有更多行业或者有应用场景的公司加AI能力解决实际问题。比如手机制造商，他们想做好摄影，就加入AI的算法，实现了比较多新的AI功能，实现了差异化。或者我们和亚马逊合作的海上渔船监控的解决方案。”汤炜伟说。

AI是需要和场景进行结合的技术，能给传统的行业带来效率的提升甚至革命性的变革，也能创造全新的应用，这一进程正在加速。