集智俱乐部 18小时前
PNAS:自组装梯度学习如何高效构建神经网络
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_keji1.html

 

导语

大脑没有预先画好的学习蓝图,负责传递误差、调整突触的回路又是如何形成的?2026 年 9 月 10 日发表于 PNAS 的一项研究提出 " 自组装学习 ":让四类突触连接从随机状态出发,遵循局部可塑性规则,逐渐形成支持近似梯度学习的回路。这为理解大脑的学习机制提供了一个新思路——不仅连接强度可以通过学习改变,支持学习的回路本身也可能在局部互动中逐渐形成。

关键词:自组装学习、异突触可塑性、局部学习规则、误差反馈、梯度下降、生物神经网络

郭瑞东丨作者

赵思怡丨审校

论文题目:How biological synapses self-assemble gradient learning

论文链接:https://www.pnas.org/doi/10.1073/pnas.2606245123

发表时间:2026 年 9 月 10 日

论文来源:PNAS

自组装学习要解决的问题

深度神经网络已经彻底改变了计算神经科学,人工神经网络正被越来越多地用于模拟大脑信息处理的各个方面,并在捕捉神经反应和认知功能方面表现出了非凡的成功。然而,一个模型作为对大脑的解释,其价值不仅仅在于复现这些反应。只有当生物学本身能够实际产生某种学习机制时,该机制才具有生物合理性,这一特性可被称为生物可实现性(biological realizability)。之前我们判断一个学习模型是否 " 生物可信 ",只是在看有没有权重传输?有没有全局误差信号?有没有非局部的信息?如果都没有,那就 " 可信 "。然而这种判断方式本质上是二元的,忽略了有没有一条路径,能真正产生人工神经网络。

几十年来,计算神经科学中的学习理论一直在问:给定一个回路,它如何学习?本文要问的是,神经网络本身从何而来?但这带来了架构循环性这一问题,即用学习来解释学习回路的起源,但学习回路恰恰是需要被解释的对象。

具体来看,什么样的机制和假设,支持涌现出人工神经网络这个问题,可以从一个连续的坐标轴审视,最基础的是不同的学习模型在其结构有多少是预先规定的、又有多少被证明是从局部交互中涌现出来的方面存在差异。这个坐标轴向深处延伸。人们可以只要求权重进行自组织,而调整权重的回路则是设计好的;或者更进一步,要求学习回路本身也是组装而成的;再进一步,要求承载学习回路的支架也是自组织的;原则上,甚至包括铺设该支架的发育程序也是如此。一个模型在这个坐标轴上探索得越深,它就必须推导出越多其他模型仅仅假设的内容,即用组装来取代假设。以此标准衡量,大多数现有的学习算法都位于坐标轴的顶端附近:它们虽然使推理权重自组织,但其所依赖的其他机制却是预先固定好的。即使训练产生了丰富且可解释的结构,如可重用的动力学模体或支持工作记忆维持的抑制性微回路 但因为这些结构是在从训练的推理权重中涌现的,而调整这些权重的学习规则本身仍然是设计好的,因此仍然不算从头涌现出的神经网络。

图 1:不同算法在神经网络如何自组织程度上的对比

具体的例子是反向传播算法。它预设了前向通路和后向通路通过权重传输和神经元级别的对应关系紧密绑定,这样一个精巧的结构,从生物学的角度来看,是难以从头开始无中生有产生的。之后一些学习算法,例如反馈对齐(Feedback alignment)放弃了权重对称性,而权重镜像(weight mirroring)和 Kolen-Pollack 规则则允许后向权重进行适应(图 1)。然而,每一种方法仍然要求人工神经元之间硬连线了固定的对应关系,而不是让这种对应关系自然形成;更广泛地说,它们都假设了一个特定的、具备学习能力的回路事先存在,但该回路尚未被证明是可以通过生物方式组装而成的。由此引出了该研究关注的自组装学习(Self assemble learning),其要回答的问题是由交互组分构成的系统,仅受局部交互规则支配而非集中设计,如何从低层交互中涌现出实现有效学习算法的结构?

自组装模体是如何实现的

自组装模体所依赖的异突触可塑性,值得是突触后信号不来自该神经元自身的前向激活,而来自同一神经元上其他突触(即反馈突触)传入的信号。反馈信号携带学习所需的信息,而突触本身不需要在电学上与被修改的突触邻近,从而鼓励未被使用的突触保持弱连接。

对此,该文给出的回答是自组装模体,其由连接两个相互作用信息流的四条突触通路组成,所有通路均受统一的异突触可塑性规则支配。SAM 的架构如图 2A 所示,包含三部分,分别是:

上行流(Upstream / Forward Pathway):标准的多层全连接神经网络,执行前向推理。对应皮层中多区域的处理通路(例如视觉系统中的 V1 → V2 → V4 → IT)。

误差处理模块(Error Processing Module):上行网络的最终输出被送入该模块,用于计算局部误差信号。对应额叶皮层(Frontal cortices)或其他负责计算目标与预测差异的高级脑区。

下行流(Downstream / Feedback Pathway):误差信号被注入下行通路,并逐层向下(反向)传递,用于指导突触权重的更新。

图 2B 具体对应图 2A 中灰色虚线框内的最小连接单元,对应锥体神经元。图 2 ( C ) 给出了最小连接单元的严格数学描述。每一个箭头代表两组神经元之间的全连接集合,由权重矩阵参数化;每一个向量代表一组神经元的激活状态,上行和下行网络在对应层具有不同数量的隐藏单元。

图 2:上行流与下行流之间相互作用的突触模体。(A)上行—下行架构示意;(B)最小连接单元的皮层锥体神经元形态;(C)该单元的数学描述。

SAM 在两个尺度上进行自组装:首先,模体本身在局部可塑性规则下从初始的随机连接中涌现;其次,当 SAM 在层级上重复堆叠时,SAM 网络自组织成结构化的学习动态。特别值得注意的是,先前方法中通过硬连线实现的前向与后向通路之间的一一对应关系,在 SAM 中不是预设的初始条件。SAM 的跨流连接本身也是随机初始化且具有可塑性的,自上而下与自下而上的连接间的对齐是自发形成的。

SAM 并非毫无假设:它预设了两个隔离且具有相互作用流的存在,且它们之间仅存在调节性(modulatory)而非驱动性(driving)的交互。SAM 中执行学习的所有部分,包括信用分配回路及其所有连接都在统一局部规则的支配下,从初始的随机连接中自组装而成。因此,SAM 在自组织轴(图 1)上的位置比任何先前的生物合理学习算法都要深。

文中证明,当 SAM 模体在层级上重复堆叠时,整个网络自组织出结构化的学习动力学。这表明这种层级组合的 SAM 网络实现了一种广义随机梯度下降算法。

实验验证 SAM 能高效学习

该研究在七个图像分类数据集上评估 SAM:CIFAR-10、MNIST、Fashion-MNIST、ChestMNIST、PathMNIST、SVHN、STL10。对比基线包括标准 SGD(反向传播)、反馈对齐(FA)、权重镜像(WM)和 Kolen-Pollack(KP)算法。SAM 在全部七个数据集上都是生物可信算法中的最佳(表一),且在六个数据集上超过了标准反向传播。唯一的例外是 ChestMNIST,仅低 5%。这意味着一个不需要权重对称、不需要固定反馈通路、不需要预设通路对应、所有连接从随机初始化自组装的算法,可以达到甚至超过精心设计的反向传播的性能。

表一:SAM 和其它生物可信算法在分类数据集上的准确性对比

在图像数据集 SVHN 中,图 3a 展示使用 SAM 训练后的权重变化,训练前,由于独立同分布的高斯初始化,权重矩阵主要呈现为对角阵,此时神经元之间无相关性。训练后,矩阵中出现了明显的非对角元素,表明同一层内的神经元和权重之间形成了结构化的相关性。图 3a 右图的谱分析显示,训练后的权重矩阵在跨层时具有有效低秩。这意味着信息压缩到了少数关键的主成分上。

图 3:SAM 如何从局部规则中涌现出全局的有效学习结构。

在 CIFAR-10 数据集上,SAM 可保持上行流内连接始终可塑,同时随机冻结其他三条通路的部分或全部,观察性能变化。基线为线性模型和全可塑的 SAM(图 3B)。结果显示仅更新 W 性能仅与线性模型相当,这证明其他连接的可塑性对于学习数据中的非线性关系至关重要。下行到上行的连接是最关键的单一额外连接,对可塑带来的性能提升最大。而使所有四条连接都可塑,性能进一步提升至与标准 SGD 相当的水平。这证明了 SAM 中的四条通路没有一条是冗余的。

图 3c 固定上行流(前向)宽度为 200,系统性地改变下行流(反馈)的宽度,观察对 CIFAR-10 等数据集性能的影响。发现更宽的下游网络能持续提升前向网络的性能,在过参数化比例达到 7.5 到 8 倍时,学习性能达到峰值。这为生物学中一个长期存在的解剖学谜题提供了计算层面的解释。在视觉系统中,从 V1 到 LGN 的反馈连接数量大约是视网膜到 LGN 前向连接的 10 倍。SAM 在人工神经网络中的模拟证明,更宽的反馈通路为信用分配(Credit Assignment)提供了更大的表示容量,有助于保持通路对齐误差在训练过程中下降。

之前的证明指出:SAM 能逼近广义随机梯度下降。在 CIFAR-10 数据集上,图 4A 的训练集和测试集的交叉熵持续下降,准确率稳步上升,可视为稳定运行的基线。图 4B 考察 SAM 计算出的权重更新梯度与反向传播梯度之间的余弦相似度,随着训练的进行不断增加,并最终达到较高水平。这表明尽管 SAM 没有权重对称性,也没有全局误差反向传播,但它自发学习到的更新方向与最优的 SGD 方向高度一致。

图 4:CIFAR-10 上的对齐诊断

小结:从头开始,具有完全可塑性的学习算法

相比传统的学习算法,根据(自上而下,自下而上,上行前向流内,下层流内反馈)的连接及对应可塑性模式,可对学习算法可根据四条通路 × 两个属性(解剖连接性 / 突触可塑性),得到八个可实验检验的判据。SAM 是唯一能够在所有 8 项中都具备的算法(表二)。

表 2:不同学习算法具有的连接及可塑性对比

表三将 SAM 中的四个权重矩阵映射到了皮层具体的层间连接、树突靶向位置和生理效应上,例如基底树突通常驱动胞体放电,而远端顶端树突通常起调节 / 门控作用。

表三中的对应关系应被解释为 SAM 如何在皮层中实现的一个示例,而不是声称 SAM 必须通过皮层分层来实现。从 SAM 的角度来看,核心主张是功能性的而非形态学的:为了避免不稳定动态和信号污染,学习系统应表现出两个交互的流,流内是驱动性连接,流间是调节性连接,只提供学习信号而不覆写神经元的激活状态。

如跨流连接也是强驱动的,就会形成闭合驱动环路,导致网络像癫痫一样失控放大,或者让误差信号污染前向推理。这意味着因此两条交互流之间的调节性(而非驱动性)交互是稳定性约束,具有生物学合理性,也是发育及神经网络从头开始学习所需的最小假设。

表三:SAM 在皮层分层结构中的 " 功能 - 形态 " 映射

曾经,计算神经领域,往往生硬地寻找反向传播算法在生物学中的替代品;该文指出,找到具有生物学可行性的算法,应考察测量表二所述的四类可塑性是否具备,论文引用了多项与之相容的实验证据,支持 SAM 在皮层中的一种可能实现方式。这些证据包括 L5 锥体神经元的顶端树突在运动学习期间高度可塑;L6 神经元的轴突扣高度可塑,且这些轴突常附着在 L5 神经元的基底树突上;L1 的树突棘(许多反馈输入的突触靶点)在成年小鼠皮层中具有相当的可塑性,且在学习范式中增强。特别值得注意的是,Francioni 等人 2026 年在 Nature 上发表的论文报告了 L5 顶端树突在学习期间的向量化指导信号(vectorized instructive signals),包括任务误差,且扰动顶端信号会破坏学习。这与 SAM 的皮层实现中自下而上连接的靶向顶端 / 远端区室这一预测契合。

在该文的基础上,作者将同样的异突触规则应用于一个随机初始化、循环连接的神经元池,通过进化过程生长和修剪连接。在同样的异突触可塑性驱动下,连接自组织成能有效学习的回路,进化出的更新与真实梯度对齐。这表明异突触规则本身就足以使神经元群体自组织成有效的学习者,自组织学习可在远超任何特定初始条件的范围内实现。

论文题目:Heterosynaptic Circuits Are Universal Gradient Machines

论文链接:https://arxiv.org/abs/2505.02248

发表时间:2026 年 5 月 4 日

论文来源:arXiv

在一个没有外部设计者的世界里,任何存在的结构都必须解释自己的起源。这是任何真正理解智能何以可能所必需的,SAM 算法给出了对该问题的回答,并将不同学习学习算法的生物可能性,通过表二描述的不同类型的可塑性及可连接性进行了量化对比。自组织学习的终极目标,是不必手动指定一条通路为推理流、另一条为误差路由流,可让功能角色从统一的局部规则中涌现。 SAM 是朝该方向迈出的一步,因为它的两条流是同构的、受相同的局部可塑性原则支配;当前的不对称性来自模体如何被驱动,而非来自内部不同的后向学习规则。

SAM 的矩阵学习率是一个通过学习本身获得的、时变的、半正定的预条件矩阵。在机器学习语境中类似于自然梯度或自适应预条件,是从架构中涌现的。这暗示了一种可能性:未来的学习系统或许不需要手动设计优化器,而是让优化器与网络一起涌现。

计算神经科学第三季读书会

从单个神经元的放电到全脑范围的意识涌现,理解智能的本质与演化始终是一个关于尺度的问题。更值得深思的是,无论是微观的突触可塑性、介观的皮层模块自组织,还是宏观的全局信息广播,不同尺度的动力学过程都在共同塑造着认知与意识。这说明,对心智的研究从最初就必须直面一个核心挑战:局部的神经活动如何整合为统一的体验?局域的网络连接又如何支撑灵活的智能行为?

继「神经动力学模型」与「计算神经科学」读书会后,集智俱乐部联合来自数学、物理学、生物学、神经科学和计算机的一线研究者共同发起「从神经动力学到意识:跨尺度计算、演化与涌现」读书会,跨越微观、介观与宏观的视角,探索意识与智能的跨尺度计算、演化与涌现。重点探讨物理规律与人工智能如何帮助我们认识神经动力学,以及神经活动跨尺度的计算与演化如何构建微观与宏观、结构与功能之间的桥梁。

详情请见:从神经动力学到意识:跨尺度计算、演化与涌现丨计算神经科学第三季 · 读书会启动

推荐阅读

1.  自然 · 机器智能:无方程的系统神经网络动力学分析

2.  EmergentMind:自指神经网络综述

3.陶柯霏 :神经网络中的顿悟丨集智百科

4.  9900 分可兑换 " 涌现 " 文化衫,报名任意读书会送 299 积分!

5.  集智学园精品课程免费开放,解锁系统科学与 AI 新世界

6.  高考分数只是张入场券,你的科研冒险在这里启航!

7.  加入集智字幕组:成为复杂科学知识社区的 " 织网人 "

点击 " 阅读原文 ",报名读书会

智客推

智客推

ZAKER 智客推 GEO | AI 时代的品牌认知解决方案

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关标签

神经网络 生物
相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…