图源：Quanta 杂志Merrill Sherman但与大脑的思考相比，人工神经网络中的数字化学习看起来效率非常低。在每天摄入不到2000卡路里热量的情况下，一个人类儿童在几年内就能学会说话、阅读、玩游戏以及更多的东西。在如此有限的能量条件下，能够流畅对话的GPT-3神经网络可能需要一千年才能学会聊天。从物理学家的角度来看，一个大型数字神经网络只是试图去做过多的数学运算。如今最大的神经网络必须记录和操纵超过5000亿个数字。这个惊人的数字出自下图中的论文“Pathways 语言模型 (PaLM)：扩展到 5400 亿个参数以实现突破性性能（Pathways Language Model (PaLM): Scaling to 540 Billion Parameters for Breakthrough Performance）”：
2 思考部分McMahon和合作学者们已经在这个谜题的“思考”部分取得了进展。在新冠疫情发生前的几个月，McMahon在康奈尔大学建立了实验室，他仔细思考了一个奇怪的发现。多年来，表现最出色的图像识别神经网络已经变得越来越深度。也就是说，有更多层的网络能够更好地接收一堆像素并给出标签，如“狮子狗”。这一趋势启发数学家们研究神经网络实现的转换（从像素到“狮子狗”），在2017年几个小组在论文“任意深度残差神经网络的可逆结构（Reversible Architectures for Arbitrarily Deep Residual Neural Networks）”中提出，神经网络的行为是一个平滑数学函数的近似版本。
图注：康奈尔大学的一个研究小组训练了三种不同的物理系统来“读取”手写数字：从左到右分别是一个振动的钛板、一个晶体和一个电子电路。图源：左图中图为康奈尔大学Rob Kurcoba摄；右图为Quanta 杂志 Charlie Wood摄。该小组还在一个光学系统中实现了他们的方案——输入图像和权重被编码在两束由晶体混合在一起的光束中——以及一个能够类似地变换输入的电子电路中。原则上，任何具有拜占庭行为的系统都可以如此，但是研究人员相信光学系统具有特殊的前景。晶体不仅能极快地混合光线，而且光线还包含了关于世界的丰富数据。McMahon想象他的光学神经网络的微缩版本有一天会成为自动驾驶汽车的眼睛，能够识别停车标志和行人，然后将信息输入汽车的计算机芯片，就像我们的视网膜对进来的光进行一些基本的视觉处理一样。然而，这些系统的致命弱点在于，训练它们需要回归数字世界。反向传播涉及到反向运行神经网络，但是底片和晶体不能轻易地分解声音和光。因此，该团队为每个物理系统构建了一个数字模型。在笔记本电脑上反转这些模型，他们可以使用反向传播算法来计算如何调整权重以给出准确的答案。通过这一训练，这块钛板学会了对手写数字进行分类，正确率为87%。而上图中的电路和激光的精度分别达到93%和97%。研究结果表明“不仅标准的神经网络可以通过反向传播进行训练，”法国国家科学研究中心（CNRS）的物理学家Julie Grollier说，“这太美了。”该研究小组的振动钛板还没有使计算的效率接近大脑的惊人效率，这个设备甚至不及数字神经网络的速度。但McMahon认为他的设备十分惊人，因为这种设备证明了人不只可以用大脑或电脑芯片来思考。“任何物理系统都可以是神经网络。”他说。
3 学习部分另一个的难题是——如何让一个系统完全自主学习。德国马克斯·普朗克光科学研究所的物理学家Florian Marquardt认为，有一种方法是建造一台倒着运行的机器。去年，他和一个合作者在论文“基于Hamiltonian回波反向传播的自学习机器（Self-learning Machines based on Hamiltonian Echo Backpropagation）”中提出了一个可以在这样的系统上运行的反向传播算法的物理模拟。
我在思考中