性能大提升！新型 ANN 登上《自然》子刊：清华团队领衔打造基于忆阻器的人工树突

现在，闭上眼睛，想象面前有一张图片，上面画着「神经元」，三秒后睁开眼。

如何？你脑海中的图片是不是类似这样？

如果帮助你勾勒出「神经元」形态的，是以字母 D 开头的单词指示的、像树枝一样的部分，那么恭喜你，你对今天的主题「树突」已经有了一定认知了。

一个神经细胞可以有多达 1 万根树突。可以说，窥探人类之谜，研究树突是重要一环。

所以，对人脑神经元网络进行抽象建立的人工神经网络（Artificial Neural Network，ANN ），里面也有树突在起作用吗？

实际上，很多人工神经网络中树突的信息处理功能被忽略，相比于生物神经网络，其灵活性、鲁棒性、功耗都有欠缺。

基于此，科学家们研制出基于动态忆阻器的人工树突器件，以全新的方式构建了人工神经网络。

引入树突的人工神经网络

2020 年 6 月 29 日，相关研究成果发表于《自然-纳米技术》（Nature Nanotechnology），题为 Power-Efficient Neural Network with Artificial Dendrites（含人工树突的节能神经网络）。

据了解，这一研究由多个团队联合推进，包括清华大学微电子研究所未来芯片技术高精尖创新中心（ICFC）、清华大学北京信息国家研究中心、马萨诸塞大学阿莫斯特分校电气与计算机工程系、清华大学医学院生物医学工程系、加州大学圣塔芭芭拉分校电气和计算机工程系以及阿里巴巴达摩院。

论文一开篇，研究团队就提到了人工神经网络的现状。

如今，人工神经网络已广泛应用于计算机视觉、语音识别、生物信息学等领域，在一些领域甚至超过了人类。然而，这并不意味着人工神经网络的已经发展得十分成熟了——研究团队表示，就信息处理而言，仍然可以在生物身上寻找灵感，这一点易被忽视，但也是增强计算灵活性、降低能耗的重要方法。

根据论文，在生物神经系统中，树突作为神经元分支，有着重要的信号传递和信息处理功能。树突可以非线性地整合突触后信号、滤除掉不重要的信息，而这点恰巧回答了一个问题：为什么生物神经网络可以处理相当复杂的任务，消耗的能量还少？ 

综合上述原因，研究人员将树突作为切入点，将树枝状计算单元结合到人工神经网络中（目前大部分人工神经网络仅是将神经元简化成了点模型，其计算功能简化为整合-发放 integrate-and-fire）。

确定大体方向后，就进入了实操部分。

下图是小鼠大脑神经元的图像，其中 synapse、dendrite、soma 分别代表突触、树突、胞体。而在该团队设计的人工神经网络中，三者也有各自的职责：

• 突触（可塑性、重量）；

• 树突（整合、过滤）；

• 胞体（整合、发放）。

研究人员设计了复杂的互补金属氧化物半导体（CMOS）电路，并使用三种忆阻器作为关键计算组件开发人造树突，构建了一个包含有突触、树突、神经元胞体的完整神经网络。

这里需要说明的是，所谓忆阻器，是继电阻、电容、电感后的第四种电路基本元件。断电之后，忆阻器仍能“记忆”通过的电荷，这种特性与神经突触相似，使其具备获得自主学习功能的潜力。

功耗、准确率显著提升

为评估人工树突的计算功能和神经网络的性能，研究人员模拟了多层网络执行数字识别任务。

雷锋网了解到，在计算机视觉领域，从噪声背景中识别对象是一大挑战。因此，研究团队对上述人工神经网络的性能评估基准便是一个来自真实世界的具有自然干扰信息的图像数据集——街景门牌号（SVHN）数据集。

结果表明，由于引入了树突功能，该网络在处理 SVHN 数据集时，胞体的动态功耗降低 30 倍、准确率提高至少 8%、系统评估整体功耗比 CPU 低 3 个量级以上，同时比典型的专用集成电路芯片的功耗低 70 倍，也就是说，引入树突功能的人工神经网络的性能整体上有显著提升。

关于作者

正如上文所述，这一研究由多个团队联合完成，但其中不得不提的便是清华大学微电子所未来芯片技术高精尖创新中心钱鹤、吴华强教授团队。

据清华大学网站报道称，钱鹤、吴华强教授团队长期致力于基于忆阻器的存算一体芯片技术研究，从器件性能优化、工艺集成、电路设计及架构与算法等多层次实现创新突破。

其中，钱鹤教授：

• 1990 年毕业于西安交大，获博士学位；

• 1990-2006 年在中科院微电子所工作，从事 Si CMOS 工艺技术、Si CMOS/SOI 抗辐射电路和 GaN 微波功率器件等方面的研发工作；

• 2006-2009 年在三星半导体（中国）研究所工作，负责多项智能手机芯片应用解决方案开发；

• 2009 年入职清华大学，研究方向为阻变存储器及其在类脑芯片上的应用。

另外，吴华强教授为清华大学微纳电子系副系主任、清华大学微纳加工平台主任、北京市未来芯片技术高精尖创新中心副主任：

• 2000 年本科毕业于清华大学材料系；

• 2005 年毕业于康奈尔大学，获电子与计算机工程学院博士学位，后就职于 AMD 公司和 Spansion 公司工作。

• 2009 年入职清华大学，从事新型阻变存储器研究。

与此同时，吴华强教授还有一个 title——2019 年度“科学探索奖”信息电子领域获奖人。

其获奖理由为：“肯定他在阻变存储器领域取得的多项创新成果，鼓励他进一步研究突破传统冯诺依曼架构的存算一体技术，探索实现新计算机系统。”

今年 2 月，钱鹤、吴华强教授团队更是与合作者在《自然》杂志发表重磅论文，宣布研制出全球首款多阵列忆阻器存算一体系统，能效比 GPU 高出两个数量级。

引用来源：

https://www.nature.com/articles/s41565-020-0722-5

https://news.tsinghua.edu.cn/info/1416/80291.htm

http://www.ime.tsinghua.edu.cn/publish/ime/5910/2015/20150315130344769435190/20150315130344769435190_.html

雷锋网雷锋网