CreateAMin 3小时前
论高阶消息传递的层化
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_keji1.html

 

论高阶消息传递的层化

ON THE SHEAFIFICATION OF HIGHER-ORDER MESSAGE PASSING

https://arxiv.org/pdf/2509.23020

摘要

近期拓扑深度学习(TDL)领域的工作试图将图学习中占据主导地位的消息传递范式推广至更复杂的关系结构:单纯复形、胞腔复形、超图及其组合。许多针对此类高阶消息传递(HOMP)的方法都可以用非线性扩散的形式来表述,其核心是霍奇(组合)拉普拉斯算子——这是一种分阶算子,它携带了一种归纳偏置,即维度为 k 的数据特征与底层域(上)同调中所编码的维度为 k 的拓扑特征相关联。当 k = 0 时,该算子退化为图拉普拉斯算子,其同质性偏置已得到充分研究。然而在更高阶的情况下,霍奇拉普拉斯算子的偏置则更为模糊,甚至可能发生退化。在本论文中,我们将层论(sheaf theory)定位为一种自然且具有原则性的形式体系,用以修正霍奇拉普拉斯算子在局部描述子与全局描述子之间由扩散介导的接口,从而实现更具表现力的消息传递。层拉普拉斯算子的归纳偏置将维度为 k 的数据特征与维度为 k 的层上同调相关联,后者是奇异上同调的一种数据感知泛化。我们将在此视角下梳理并新颖地扩展此前关于图学习( k = 0 )中层扩散的理论——并探究其为何无法推广至 k > 0 的情形——随后再针对高阶设定发展新的理论与实践。本文的论述还附带了一份自包含的引言,引导读者从摘要一路深入至实际应用,全面介绍层论。

1 引言

一场数据科学的 " 层化 "(sheafification)进程正在展开。作为现代代数几何与拓扑学中的基础对象,层(sheaves)对 " 将数据局部一致地附着于一个空间 " 这一概念进行了建模。尽管众所周知,任意空间上的层极为棘手,但支撑现实世界关系数据的那些空间——(超)图、胞腔复形以及其他偏序集——并非任意空间。给定偏序集上的层具有极其易处理的特征,因为正如我们将看到的,它们恰好就是该偏序集上的图(Diagram)(图 1)。偏序集上的图潜在地渗透于信号处理与人工智能领域,在那里它们通常用于编码以底层域为索引的关系结构 [ 1 ] 。" 层 " 这一高深术语的使用是为了保持其暗示性:在 " 数据上的图 " 这一无伤大雅、司空见惯的概念背后,蕴藏着一项富有传奇色彩的几何事业。我们能否驾驭它?

近期大量研究都指向了肯定的答案。应用层论为观点动力学 [ 2 ] 、时序数据处理 [ 3 ] 、因果知识表示 [ 4 ] 、网络科学 [ 5 ] 、持久同调与拓扑数据分析 [ 6 – 9 ] 、降维 [ 1, 10 – 12 ] 、共识与分布式优化问题 [ 13, 14 ] 、知识图谱与符号推理 [ 15 ] 、关系数据库理论 [ 16 ] 、网络编码 [ 17, 18 ] 、结构工程 [ 19 – 21 ] 等诸多领域带来了新颖的洞见。深度学习也不例外。近期大量关于图表示学习的工作采用了基于层的消息传递(sheaf-based message passing) [ 22 – 29 ] ,并在自然语言处理 [ 30 ] 和推荐系统 [ 31 ] 等应用中取得了成功的独立应用,同时也被用于联邦学习 [ 32, 33 ] 。基于层的图神经网络(GNN)的核心在于使用层图拉普拉斯算子(sheaf graph Laplacian)作为进行消息传递的位移算子。该层拉普拉斯算子推广了图拉普拉斯算子,用更可控的扩散过程替代其低通消息传递动力学。层神经网络擅长修正先前消息传递方法中隐含的同质性偏置,从而缓解过平滑问题,并适应异质性(heterophily) [ 34 ] 与异构性 [ 27 ] 。

尽管应用层论的形式体系具有普遍性,但无论在深度学习领域内外,现有工作几乎都集中在 k = 0 阶,即(超)图上。这与以下事实形成反差:高阶数据上的学习已迅速发展为网络科学与关系深度学习的 frontiers [ 35 ] ,并成为拓扑深度学习(TDL, [ 35 – 38 ] )的核心信条。大多数 TDL 架构都在高阶消息传递范式下运行,通常通过增广的霍奇(组合)拉普拉斯算子来实现扩散,这是图拉普拉斯算子向 k ≥ 0 阶的梯度扩展。使用第 k 阶霍奇拉普拉斯算子进行扩散会将局部描述子转换为全局描述子;具体而言,扩散极限将初始特征投影到所讨论底层域的第 k 阶(奇异)上同调上。这编码了此类架构中的归纳偏置:维度为 k 的数据特征与维度为 k 的拓扑特征大致相关。对于图而言, k = 0,维度为 k 的拓扑特征与连通分量重合,因此这种霍奇偏置相当于一种粗略假设,即类簇节点很可能具有相似特征,即存在同质性。然而,当 k > 0 时,霍奇偏置似乎建模的某种概念对于高阶数据而言,并不像同质性对于图数据那样普遍,并且(正如我们将看到的)实际上可能相当有害。作为调整偏置以对齐数据的自然工具,层有可能比图学习更深远地影响表达性 TDL。

本文旨在开创一种使用层进行高阶消息传递的理论与实践。当 k > 0 时,伴随着许多引人注目的应用,许多新挑战也随之出现。我们的贡献可总结如下:

我们全面阐述了层在图表示学习中扮演的角色。我们特别深入探讨了线性和神经层扩散在(超)图上的表达力,及其与过平滑等现象的关系。这包括对现有论点的解释,以及对新颖论点的拓展。虽然优秀的文献 [ 39 ] 从宏观层面回顾了深度学习中的层论,但据我们所知,这是首次在如此详细的程度上讨论深度学习中图层扩散的综述。我们的概念动机和技术论证的关键在于,将层上同调在零阶时等同于全局截面(global sections)。重要的是,类似的身份在更高阶中缺失,这代表了将基于层的消息传递推广到更高阶的另一个非平凡步骤。

我们提供了从层的抽象起源到其在深度学习中应用的连贯阐述。与大多数应用工作不同,我们聚焦于一般偏序集上的层,而不是立即专门化为胞腔复形或超图。在这一抽象层面进行论述有几个好处。首先,应用层论与深度学习交汇的两个主要场景——胞腔复形和超图——可以用相同的形式体系处理。其次,该形式体系可以原封不动地应用于层尚未交互的其他相关领域:偏序集自然出现在从复杂系统到形式概念分析和知识表示 [ 40, 41 ] 等领域中。事实上,在某种意义下,偏序集是支撑组合层论的 " 自然栖息地 "(这将是定理 3.2 的内容);因此,在偏序集上工作有助于澄清——而非复杂化——在较低抽象层面发生的现象。

我们分析了基于霍奇拉普拉斯算子扩散的高阶消息传递的本质,强调了其潜力和陷阱。在此过程中,我们探讨了近期文献中关于 " 高阶过平滑 " 本质的一些误解。利用层上同调和组合霍奇理论,我们证明了层扩散没有此类表达力限制,并且能够渐进地解决偏序集上的任何秩 - k 分类任务。我们的证明分为 k = 0 和 k > 0 两种情形,其中 k = 0 的证明作为先前使用称为离散向量丛(discrete vector bundles)的层子类工作的(非平凡)推广而出现。我们证明了离散向量丛在 k > 0 时不够强大,这与文献中的现有直觉形成对比,并且需要开发新的机制,这些机制可能具有独立的研究价值。

我们介绍了一套用于 TDL 的 " 层化 "(sheafified)架构,讨论了高阶层的手工设计和学习,并提供了实证验证。

本文档的其余部分组织如下。第 2 节快速回顾图表示学习中的消息传递范式,然后提供动机,说明层如何帮助减轻其传统缺陷。第 3 节介绍拓扑空间和偏序集上的层,并推导出它们等价的规范设定。第 4 节讨论组合霍奇理论和摘要中的热扩散,然后专门讨论单纯复形,引出对许多高阶消息传递算法背后的霍奇偏置的讨论。随后,高阶层作为缓解霍奇扩散缺陷的方法被引入动机。第 5 节在偏序集上证实了高阶层论,建立了层上同调、层拉普拉斯算子、热扩散以及(在零阶时)全局截面之间的字典。在第 6 节中,该字典被用于证明关于线性层扩散表达力的各种结果。最后,第 7 节提出并验证了一组高阶神经层扩散架构。

符号与约定。所有(上)同调均使用 R R 系数。除非另有说明,上的内积为标准内积。" 单纯复形 " 指 " 抽象单纯复形 "。" 胞腔复形 " 指 " 正则胞腔复形 "。(这些附加假设允许我们将所讨论的拓扑域仅视为偏序集,而无需担心欧几里得嵌入或粘合映射等问题。)在本文档中,我们假定读者熟悉代数拓扑与微分几何,包括对范畴论的基本了解(相应的 Part III 课程水平绰绰有余)。我们不假定读者具备层论的先验知识,尽管将我们的讨论与 Part III 代数几何课程中的讨论进行比较会很有趣。只有少数证明会真正涉及这些 Part III 课程的完整机制,且这些证明由第一作者撰写——这意味着总有可能遗漏了更初等的论证。

2 动机 I:层与图表示学习

我们首先阐述在消息传递图神经网络中使用层扩散的动机。随后,我们将阐述在高阶消息传递中使用层扩散的动机,并观察此处讨论的哪些原则能够推广到高阶设定,哪些则不能。

2.1 消息传递图神经网络

当代图表示学习主要运行在消息传递范式(message passing paradigm)之内,这是一种架构框架,其中图节点的表示会根据其邻居的信息逐步更新。

图神经网络通常由若干消息传递层的组合构建而成,可能还会与深度学习工具箱中的其他标准技术结合使用 [ 42 ] 。以下消息传递框架的实例化是本文论述的核心。

2.2 直觉:层与图表示学习中的过平滑

本节旨在为引入层(sheaves)和层扩散提供动机,以便在图及其推广上进行更具表达力的深度学习。在此背景下,展示层之效用或许最具体的方式,就是论证它们在缓解消息传递图神经网络中所谓的过平滑现象(oversmoothing phenomenon)方面所扮演的角色。因此,本节的目标有两重:一是探讨层与过平滑的关系,二是从层的角度探讨过平滑。(我们将在第 7 节更靠后的部分回到这一主题,证明层与过平滑之间关系的明确结果,并完成此处开启的论述。)

2.2.1 过平滑、异质性与热扩散

我们以以下事实作为引子,尽管它很基础,但对于消息传递神经网络(MPNNs)中的过平滑与图上的热扩散之间的关系至关重要。稍后(第 4-5 节),我们将把它推广到层论设定,在那里它仍将是核心。

定理 2.1(GCN 与热扩散)。从 GCN 更新(2.4)中省略非线性、权重、归一化和自环,可恢复图热扩散方程的欧拉离散化

当然,这种情况既偶然又脆弱。保持节点类别 不变,并再次连接 G ——从而在网络中引入少量异质性——会产生与图 2 相同的扩散过程。在扩散极限下,基于节点表示来区分这些类别将变得不可能。

2.2.2 网络层:结合语境的初步探讨

层的形式体系将在第 3 节中正式展开。在本节中,我们通过说明层如何自然抵消上一节非正式引入的过平滑现象,来为在图表示学习中引入层(网络层)提供动机。

因此,让我们重新考虑例 2 中的图(任何连通图皆可)。放大来看,比如观察那条绿色的瓶颈边:

我们以两点前瞻性说明结束本节。第一点说明是,在此动机性设定中所考虑的图拉普拉斯算子是未归一化的。我们将在第 6 节看到,仅在进行扩散前对图拉普拉斯算子进行归一化,便能相对于当前讨论提升分离能力。然而,这并不能保证分离能力:为此,我们需要采用层拉普拉斯算子。第二点说明是,由于图是一维对象,此处定义的网络层并不能说明全貌:限制映射的复合性(compositionality)将是一般层的关键特征,而这正是我们接下来要讨论的主题。

3 层:定义与示例

本节将快速、正式且一般地介绍层。考虑到下游应用的需求,在第 3.1 节之后,本文的呈现重点必然会有所偏离传统。

另一方面,第 3.1 节涉及的是完全标准的材料,可在例如 Part III 代数几何课程或 Bredon [ 45 ] 、Hartshorne [ 46 ] 或 Vakil [ 47 ] 的书中找到。因此,我们在此节中自由地省略了许多证明,以便稍后腾出篇幅讨论不那么标准的材料。

我们将简要回顾支撑在任意拓扑空间上的层,然后专门讨论支撑在有限偏序集上的层。偏序集的设定将是大部分论述展开的地方:它足够具体,可以容纳友好的上同调理论、热扩散等;同时又足够一般,能够将许多有趣的数据结构作为特例包含在内。最终,随着我们的目光转向深度学习中的现有应用,并使上一节引入的动机性想法变得精确,网络层的设定,即支撑在图上的层,将成为焦点。

3.1 支撑在拓扑空间上的层

在接下来的小节中,我们将会发现,偏序集上的层——即大多数应用层——在某种意义上是以 " 逐茎 "(stalkwise)方式定义的。在这种情况下,定理 3.1 是一个好消息:它告诉我们,像、核、单射性、满射性、正合性等在应用语境中的表现,都正如人们最初所预期的那样。

3.2 支撑在偏序集上的层

到目前为止,尚不清楚我们关于图 G 上层的暂定概念(第 2.2 节)——即将对象分配给节点 / 边,将态射分配给它们的关联——为何是刚刚定义的那种名副其实的层。确实,甚至没有任何开集可以分配数据,因为 G 从未被赋予拓扑。然而,其中确实涉及了某种函子性意义,因为 D 中的对象和态射是由 G 来 " 索引 " 的。对第 2.2 节中构造更贴切的描述是,它捕捉了 D 中支撑在 G 上(适当地视为偏序集)的图(diagram)的概念。

在本节中,我们在拓扑学与序理论之间建立了一个不完美的字典,以见证这两个概念在(范畴论意义上)等价的那些条件。虽然第 3.1 节中的拓扑层定义无疑是一个相关的视角,并将在后文被援引,但本文所讨论的层的图解式表述将成为本文件真正的基石。

为了阐释定理 3.2,我们首先需要理解 " 偏序集的亚历山德罗夫拓扑空间 " 这一术语的含义。

要做到这一点,需要非常简短地岔开话题,探讨拓扑学与序理论之间的关系。

3.2.1 从拓扑学到序理论,再返回

拓扑空间 ( X , τ ) 中的点带有一个典范的预序(preordering)。

3.2.2 层作为图

掌握了第 3.2.1 节的数据,我们便能理解定理 3.2 的陈述。证明它需要在图(diagrams)与层之间构造两个拟逆函子;这便是接下来两个构造的内容。

4 动机 II:层与拓扑深度学习(TDL)

4.1 组合霍奇理论与热扩散

拉普拉斯算子是普遍存在的,它在黎曼几何、偏微分方程和随机过程中的化身,在离散域上有着多种多样的表现 [ 48 ] 。拉普拉斯算子的效用部分源于它建立了局部描述子与全局描述子之间由扩散介导的接口。图 G 上的拉普拉斯算子 L (定义 2.1)提供了一个熟悉的例子:

例 12.

这就是霍奇 1- 扩散所收敛到的归宿:一种平滑流(在零狄利克雷能量的意义上),它通过扩散消除源与汇(通过消除梯度特征向量)以及扩散消除净环流(通过消除旋度特征向量)来实现。这至少在特定情形下为霍奇偏置提供了物理解释。我们观察到,当 k > 0 时,霍奇扩散所收敛到的 " 最大程度平滑信号 " 不再需要是局部常数 (关于非常数调和特征向量的例子,见图 11)。因此,在将霍奇扩散这种压倒性的渐近行为称为 " 高阶过平滑 " 时应多加小心;虽然最大程度平滑确实在狄利克雷意义上精确发生,但这与 GNN 文献中所讨论的表示 " 均等化 "(equalization)意义上的过平滑是不同的。只有当 k = 0 时,这两个概念才保证重合。

4.3 语境中的高阶层

5 偏序集上层之上同调与扩散

掌握了前面各节的工具之后,我们回到支撑在偏序集上的层这一设定,特别是研究它们所产生的扩散过程。根据字典(4.6)中的等同关系,我们知道研究层扩散应当与研究层上同调紧密相关。这正是我们现在要转向的主题。正如本文档中反复出现的主题那样,我们的离散设定极大地简化了一般性讨论。在本节全文中,我们假设 D 是一个具有足够内射对象的阿贝尔范畴(相关定义见 [ 56 ] )。对于迄今讨论过的所有范畴而言,这都是成立的;特别是,中的每个对象都是内射对象。

5.1 层上同调

例 15 中的胞腔计算显然比例 13 中的罗氏(Roos)类比更简单,也更直观。因此,在处理胞腔偏序集时,我们将默认使用胞腔上同调。当我们希望能够适应超图等非胞腔空间时,罗氏上同调仍将有用。

我们通过将一个真正计算层上同调的余链复形所普遍满足的性质(当然是迄今遇到的所有复形)纳入一个定义来结束本节。

例 16.定义 5.5 和 5.9 背后的函子都是具体的。

5.2 层扩散

我们现在已经拥有了层上同调的定义,以及几个余链复形——罗氏和胞腔——它们分别诚实地在一般偏序集和胞腔偏序集上计算层上同调。我们希望研究与这些复形相关联的拉普拉斯算子和热扩散。为此,我们需要内积。

。。。。。。。

原文链接: https://arxiv.org/pdf/2509.23020

智客推

智客推

ZAKER 智客推 GEO | AI 时代的品牌认知解决方案

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关标签

深度学习 人工智能
相关文章
打开 ZAKER 参与讨论