导读：这场访谈真正讨论的，不是"AI 会不会做天气预报"

过去几年，AI 最成功的一套范式几乎变成行业共识：更多数据、更大模型、更多算力、更长上下文。语言模型沿着这条路线学会了写代码、推理、调用工具，并开始参与科研。但 Anandkumar 提出的核心问题是：当 AI 真正进入天气、流体、材料、核聚变这些连续、高维、强物理约束的系统时，语言模型的成功经验还能不能原样复制？

她给出的答案并不是"Transformer 失效"，而是更谨慎的：物理世界的数据结构与语言不同。语言是一维序列，而工业级物理模拟可能同时涉及三维空间和时间，每个维度又有数百到上千个网格点。若机械地把这些点当成 Token 交给全局注意力，计算规模会迅速达到数千亿乃至万亿级。

因此，她代表的是另一种 AI Scaling 思路：不是放弃深度学习，而是把深度学习的表达能力，与几何结构、守恒定律、物理方程和更适合连续函数的架构结合起来。更重要的是，她把目标从"预测"进一步推到"设计"：未来科学 AI 不只是告诉人类某个系统会发生什么，而可能直接帮助寻找更好的材料、芯片结构、光学器件和聚变装置。

以下为完整对话翻译：

开场片段：FourCastNet 为什么改变了天气建模？

Anima Anandkumar：于是我们开始寻找一些有意思的案例。其中一个就是天气建模，因为天气数据是开源的。既然数据在那里，我们就想，好，那就直接试试看。只要有数据可用，这通常都是好消息。不过当时很多气象科学家提醒我们，这件事非常难。那是 2021 年，他们说，传统天气预报已经发展了几十年，背后是一套非常谨慎、从底层物理出发的建模方法：先假定流体动力学等物理规律，再一步一步预测第二天、后天的天气。所以当时很多人的看法是，AI 不可能轻易超过几十年积累下来的天气模型。

但后来我们发现，这件事确实可以做到。模型不仅准确，精度已经非常接近传统天气模型，而且速度快了数万倍。过去需要大型超级计算机运行的东西，现在可以用消费级 GPU 来跑。模型很小，运行很快，同时又很准确。我觉得这一下改变了很多人的想法。

Brandon Anderson：欢迎来到 Latent Space，这是 Latent Space 的 AI for Science 专题。我是 Brandon。我在 Atomic AI 做利用 AI 开发 RNA 疗法的工作。和我一起主持的是 RJ Honicky，他做空间转录组学，也是 Mirror Omics 的 CTO 和创始人。

今天我们很高兴请到 Anima Anandkumar。她是加州理工学院数学与计算机科学教授。Anima 做了很多非常有意思的工作，把 AI 和对物理世界的建模结合起来，她的研究背景也非常多元，我觉得我很难完整概括，所以还是请 Anima 自己介绍。感谢你来参加节目。

Anima Anandkumar：谢谢 Brandon，也谢谢 RJ。很高兴来这里。我很喜欢 "Latent Space" 这个名字，因为"潜在空间"在我的很多工作里确实都非常重要——某种意义上，世界本身就是"潜在"的。

简单介绍一下，我做 AI 已经超过二十年了。甚至在深度学习兴起之前，当时概率模型还需要建立很多理论基础，我就在做这些工作。后来深度学习开始发展，我也一直和产业界保持联系，直到最近都如此。我之前在 NVIDIA 领导 AI 研究；更早之前在 Amazon Web Services，我参与创建了 Cloud AI 团队，并参与构建第一批云端 AI 产品，那已经接近十年前了。

所以，我一直是一只脚在产业、一只脚在学术。我觉得这让我获得了一个很有意思的视角：如何把理论和实践结合起来，既思考大规模 AI，也思考更有原则、有理论依据的 AI。

一、当神经网络进入核反应堆，验证必须成为能力的一部分

Brandon Anderson：你的很多工作都和物理系统建模有关，比如用微分方程描述物理系统，再用机器学习去建模。我们可以先从比较高层的角度聊聊。后面我们会具体谈神经算子，以及天气等应用。不过我现在尤其好奇的是 TorchLean：你最近这项工作和你更大的研究计划是什么关系？

Anima Anandkumar：对我来说，最广义的核心命题一直是：AI 和科学要怎样结合起来？

我差不多十年前来到 Caltech。我的兴趣一直是科学、尤其是物理，但我的研究又是 AI，所以当时最早的问题就是：怎样把这两件事真正放到一起。这里面有几个不同层面。

一个层面是，人们现在已经在思考怎样用语言模型做科学。语言模型当然可以生成很多假设、很多想法，但只有想法是不够的。你可以提出无数想法，真正的瓶颈在于：怎样测试它们、验证它们，确认它们在现实世界里真的成立。

所以我最近很大一部分研究重点，就是怎样构建一种能够给出"有效性保证"的 AI。一个方向是：我们能不能对物理世界建模，同时让模型保持物理正确？这就是神经算子发挥作用的地方。

另一个方向是：我们能不能对某些东西做符号层面的验证？例如，如果我们声称一个定理是正确的，就必须真正去验证它。Lean 这样的形式化系统就在这里发挥作用。自然语言模型可以辅助推理，但最终仍需要形式化验证。现在数学推理领域很多前沿工作，就是在探索怎样把这些东西和语言模型结合。

TorchLean 也属于这个方向。我们的想法是，不仅数学命题需要验证，神经网络自己声称能够做到的事情也可能需要验证。比如你有一个神经网络，你想知道它是否鲁棒；或者你想把它放进一个控制回路里，无论是控制无人机还是控制核反应堆。

最终，当我们把基于深度学习的 AI 系统放进控制回路时，我们需要的是鲁棒性。TorchLean 希望让这些验证能够更顺畅地完成，让神经网络本身成为验证流程的一部分，从而让我们更有信心地、以合适的方式使用它。

RJ Honicky：我们之前在节目里已经聊过 Lean，大家对神经网络应该也都比较熟悉。但神经网络看起来非常"不受约束"。你说的证明具体是指什么？是对输入、输出做上下界约束吗？我们到底可以证明哪些东西？

Anima Anandkumar：TorchLean 首先是一个整体框架。它真正让你可以做的是：把神经网络基本上直接写进 Lean 里。

你可以把它理解为一种类似 PyTorch 的抽象层，只不过不是在 PyTorch 里写，而是在 Lean 里写，因此整个网络能够被 Lean 完整形式化。然后在这个框架之下，我们可以实现不同的验证算法。

比如，我们有用于可认证鲁棒性的算法，像 CROWN。CROWN 是其中一种方法。不同算法会用不同方式去计算鲁棒性边界，而这些边界到底有多紧，取决于你采用什么样的松弛方法。这里如果不深入技术细节，其实有很多类似算法。

我们现在做的，是把这些算法实现到 Lean 框架中。这样一来，一方面你可以像用 PyTorch 一样，很方便地把神经网络写出来；另一方面，你也可以针对这个网络提出形式化命题，并真正去验证这些命题。两件事可以放进同一个框架。

RJ Honicky：那能不能举一个"边界"的例子？假设我们在运行一座核反应堆，我们当然不希望它熔毁。对于输入和输出，你能提供什么样的保证，来帮助我们降低这种风险？

Anima Anandkumar：最自然的例子，就是我刚才说的可认证鲁棒性。

比如，如果输入受到某个幅度的扰动，输出最多会变化多少？这本质上是一种敏感性分析。我们希望针对不同神经网络架构，能够得到这类明确的边界。这样你不仅可以训练一个神经网络，让它在控制回路里表现好，还可以进一步考虑安全性、鲁棒性和稳定性——这些本来就是控制系统里非常关键的问题。

这只是一个例子。更一般地说，只要神经网络进入很多现实场景，我们就会需要验证。

控制回路是一类。另一个例子是，我们会用物理信息神经网络去求解偏微分方程，或者构建保证满足某些物理定律的系统。但与此同时，我们还会关心另一个问题：神经网络实际上是在有限精度下训练的，对吧？有限精度会带来什么误差、什么局限？这些影响能不能也被界定出来？

所以，无论是数值精度的影响，还是输入扰动的影响，我们都希望有相应算法在 Lean 中实现，并直接成为整个验证流程的一部分。

RJ Honicky：TorchLean 的表达能力足够描述几乎所有神经网络吗？还是它本身也有一些限制？

Anima Anandkumar：它基本上是一个类似 PyTorch 的框架，所以你可以像在 PyTorch 里一样，很自然地定义各种神经网络层。区别在于，它的后端是 Lean，因此可以对这些网络做形式化表达和证明。

RJ Honicky：那对于 Transformer 这样的架构呢？如果神经网络规模非常大，做这类边界证明现实吗？

Anima Anandkumar：这里其实是两个问题。一个是"有没有这个框架"，另一个是"能不能扩展到足够大的规模"。

Lean 目前在可扩展性上还有不少局限。它主要还是 CPU 环境，要迁移到 GPU 并不是把代码简单搬过去就行，里面有很多细节需要解决。

所以我们现在首先建立了框架，但如果要让它在非常大的模型上变得高效，还需要大量工作。这其实也是 Lean 整体上面临的问题。

二、PINNs 与神经算子：为什么"只写下物理方程"还不够

Brandon Anderson：我想确认一下我应该怎样理解这件事。假如我上研究生级别的数值分析课，面对一个微分方程，会有离散误差之类的问题；在满足某些条件下，我可以给这些误差做边界分析。

但过去很多基于物理、或者 AI 求解微分方程的方法，某种程度上像"西部荒野"，很多东西并没有特别清楚的保证。你刚才提到物理信息神经网络，这个想法很酷，但据我了解，它们并不是总能工作，而且人们也不总是知道什么时候会有效、什么时候会失效。

TorchLean 这类工作有没有帮助你更清楚地理解 PINNs 的适用范围？目标是不是最终可以非常严格地说："这个解一定会收敛"？还是神经网络里的"收敛"本身并没有数值分析里那么直接？

Anima Anandkumar：物理信息神经网络（PINNs）的思路大概是这样的：我把一个偏微分方程写下来，然后希望通过优化过程找到正确答案。

如果优化完全不是问题，那当然太好了——理论上你可以什么都解。但现实不是这样。优化通常非常困难，特别是那些带时间演化的问题，而不只是静态问题。比如流体动力学，时间拉长之后可能进入湍流、甚至混沌状态；非常细小的局部效应都会变得重要。

在这类问题上，希望仅仅"从零开始"，靠一个神经网络直接把偏微分方程解出来，往往是不现实的。所以 PINNs 并不是在所有地方都有效。

神经算子的想法，正是为了克服这个局限。我们不能只依赖物理约束、从头求解。现实里其实有很多数据可以利用。

以天气为例，我们不仅能用方程做合成数据，还能真正观测天气，获得现实世界的数据。既然这些数据存在，为什么不用？与其每次都从零求解偏微分方程和其他物理问题，数据驱动的方法可以更快给出答案。

神经算子就是把两者结合起来：一方面充分利用现有数据，另一方面仍然可以加入物理约束。这样就能够绕开 PINNs 的一些局限。

RJ Honicky：能不能再直观解释一下两者为什么不同？我听下来，PINNs 基本上是把物理约束"烘焙"进神经网络里，但随着时间或者其他变量变化，可能出现不稳定。如果再给它一些数据，我能直觉理解为什么会有帮助，但这里到底发生了什么？

Anima Anandkumar：对于 PINN 来说，至少在经典做法里，每一个具体方程实例，基本都要从头求解。你先拿到这个方程的具体设定，然后希望优化过程能够成功找到答案。

而神经算子更像一般的监督学习：训练阶段你已经看到了很多输入和对应答案。到了测试阶段，你再问模型："面对一个新的实例，你能不能直接给我结果？"

同时，你仍然可以利用物理约束去引导它。所以它可以既是数据驱动的，又是物理信息驱动的。

关键区别在于：因为你在训练阶段看过真实答案，就不会完全被困在一个非常困难的优化地形里。你已经通过数据学到了解的结构，所以测试时更有机会迅速得到正确答案。

RJ Honicky：我的理解是，神经算子本质上是在数据上拟合函数，或者说让一个神经网络学习"函数到函数"的映射。这个理解对吗？

Anima Anandkumar：对。从这个意义上说，神经算子和神经网络很像：它也是从数据中学习。但神经算子可以看作对普通神经网络的一种推广。

普通神经网络通常假设输入和输出尺寸固定。比如语言模型里，我们先固定词表；计算机视觉或者视频里，也经常默认一个固定分辨率，输入输出都在这个分辨率上。模型训练完之后，你不能随意把分辨率换掉。

但大量物理数据天然是多尺度的。我们不应该提前规定世界"只能"处在某一个固定分辨率上。

比如你现在只有比较粗分辨率的天气数据，但真实现象其实发生在更细的尺度。未来你可能得到更高分辨率的数据，或者希望在更高分辨率上加入物理约束。

所以模型应该保留这种灵活性。真实世界不是在一个离散网格上存在的，它本质上是连续的、可以不断细化的。

神经算子想做的就是这一点：把输入和输出表示为连续函数，从而允许不同的离散化、不同的分辨率。到推理阶段，你可以在训练时没有固定死的分辨率上使用它。

RJ Honicky：但这样会受到约束吧？如果只看有限数据，会有很多很多不同函数都能把这些数据拟合好，非常容易过拟合。你们怎么做正则化？

Anima Anandkumar：当然。如果你要求模型预测比训练数据更高的分辨率，也就是我们所说的零样本超分辨率，某种意义上它确实是在做外推、做猜测。

模型本身会通过正则化，希望平滑地扩展到更高分辨率。但如果你能够再提供额外信息，比如加入一个物理损失，把偏微分方程直接给模型，然后在比训练数据更细的分辨率上去约束这个方程，那么模型就会得到更多指导。

这样，物理信息神经算子就有可能在比原始训练数据更高的精度、更高的分辨率上仍然给出合理结果。

三、傅里叶神经算子：用结构换掉不可承受的计算复杂度

RJ Honicky：我的理解是，你很多工作都使用一种特定的算子——傅里叶算子。傅里叶空间是一种对偶域，它覆盖整个输入空间。这听起来有点术语化，你能不能直观解释一下，为什么这件事重要？它到底帮了什么？

Anima Anandkumar：前面我说过，神经算子这类模型可以接受任意分辨率的输入、输出，并学习两者之间的映射。这个"映射"本身在数学上就叫算子，所以才叫神经算子。

傅里叶神经算子是我们比较早提出的一种架构。它之所以成功，我觉得很重要的一点，是在效率和表达能力之间取得了很好的折中。

为什么傅里叶空间好用？一个关键原因是，它可以很高效地捕捉非局部现象。

自然界里很多现象都存在非局部性，无论是流体动力学、材料形变还是量子化学。偏微分方程里的"导数"看起来是局部的，但真正求解方程，往往相当于做积分，解本身是非局部的。傅里叶表示很适合捕捉这种关系。

与此同时，傅里叶变换又非常高效，而且能够天然表达很多自然现象里的归纳偏置。

但这并不意味着我们把整个世界都强行表示成傅里叶基上的线性组合。经典数值方法往往就是这样，而我们不是。我们会在傅里叶层之间加入非线性，也会加入残差连接等深度学习架构里已经被证明有效的设计。

所以它其实是在结合两个世界的优点。

如果你用 Transformer 去处理非常高分辨率的数据，注意力机制会带来二次复杂度和全连接成本，很快就不可承受。而傅里叶变换接近准线性复杂度，同时仍然能够表达全局联系和非局部现象。所以它是一个很好的中间地带。

RJ Honicky：也就是说，它能学到远距离的影响。比如天气里，芝加哥发生的事情可能会影响旧金山——当然这个例子未必准确，但大概是这种意思？

Anima Anandkumar：对，就是这种意思。有些影响在短时间、局部尺度上看起来很局部，但随着时间演化，最终会影响更远的地方。所以无论空间还是时间，我们都希望模型能够捕捉这种依赖关系。

RJ Honicky：对，所以芝加哥今天发生的事情，之后会产生影响。

Anima Anandkumar：是的，这里既有短期效应，也有长期效应。短期我们讨论的是可预测天气；把时间拉长，就进入气候问题。

你也许无法非常精确地说："芝加哥今天发生什么，会让旧金山某一天具体发生什么。"这就是类似蝴蝶效应的问题。

但另一方面，我们可以预测统计意义上的平均趋势。比如某一大片区域出现热浪，我们可以推断另一些区域出现高于平均温度的概率会增加。这些不同尺度的东西，可以在同一个框架里捕捉。

RJ Honicky：从架构角度问一个给 AI 工程师的问题：我们现在只是把所有运算都搬到傅里叶域里吗？本质上还是同一个神经网络，只是换了计算空间？还是说还需要其他架构设计？

Anima Anandkumar：最容易的理解方式是：想象一个 Transformer，把原来的注意力模块换成傅里叶模块，但网络里的其他部分仍然存在。

你依然会有各种非线性、残差连接，以及把通道映射到更高维空间的 lifting，这些设计都会提供表达能力。

所以深度学习里很多已经验证有效的原则，我们仍然保留。傅里叶部分主要帮助我们处理全局依赖，也就是类似"全连接"的关系，但不需要承担 Transformer 那样巨大的计算复杂度。

Brandon Anderson：它还有一个优点，是天然具有多尺度性质。但如果从信号处理或物理背景来看，会有一个问题：在线性傅里叶表示里，总会有一个最高频率，超过这个范围就无法表示。那加入这些非线性架构之后，你对频率截断、频率范围的选择会怎样变化？

Anima Anandkumar：这是个很好的问题。这正是"表达能力"发挥作用的地方。

如果你只是对一个信号做傅里叶变换，再用有限傅里叶模式表示它，这其实和传统数值方法做的事情很像。为了得到高精度，你就需要非常细的离散化，所以传统模拟才会这么昂贵。

但深度学习的核心不是死板地固定表示，而是学习特征。既然我们希望模型自己学习更好的特征，就不能把所有东西都强迫限制在原始傅里叶域里。

我们需要加入非线性，让网络自己找到更合适的基、更合适的表示空间。可以说，它会找到一个更合适的"潜在空间"——这里刚好和节目名字呼应了。

我们先把原始信号以非线性的方式提升到更高维空间，本身就形成一个潜在表示；然后在傅里叶变换之间继续做非线性变换。

所以即使有限的频率模式本身不够表达复杂现象，加入非线性之后，模型也可以用更丰富的方式去表示它。

四、物理世界的数据不会像互联网文本一样无限丰富

Brandon Anderson：你的研究生涯开始得很早，那时神经网络还没有真正起飞。那时候研究者会很认真地思考应该选择什么基函数、怎样做函数展开、正交多项式等等。

后来整个社区逐渐走向一种"别管那么多，把东西全扔给网络"的路线。但听起来，你仍然认为那些经典思想有一部分可以作为指导原则。

你的看法是：严格的经典数学方法，今天仍然能够帮助我们更好地建模真实世界吗？即使总体上我们仍然在使用现代深度学习这种非常灵活的方法。

Anima Anandkumar：我觉得这里需要一个平衡。

很有意思的是，我二十多年前的本科毕业论文就是做分数傅里叶变换。单靠这些经典技术当然不够做今天的计算机视觉，但我当时就很好奇：这些数学工具到底能做什么、边界在哪里？

我完全同意，我们不能把自己限制在"石器时代"的技术里。我们需要特征学习，需要灵活性、表达能力，也需要网络容易优化——这些都是深度学习非常重要的优点。

但到了物理世界，情况不同。

物理数据永远不会像语言数据那样充裕。我们的天气模型大概只有 5 万个样本，虽然每个样本分辨率很高，但和语言模型的训练数据完全不是一个量级。很多其他领域的数据更少，因为模拟本身就非常昂贵，真实实验数据更可能根本不存在。

所以在物理问题上，我们必须更认真地思考归纳偏置，必须把物理约束加进来，而不能只依赖数据。这就让架构设计本身重新变得重要。

还有一个问题是计算复杂度。

语言本质上是一维序列。即便只有一维，现在上下文做到百万级，我们已经很吃力。但物理系统不是一维：可能是二维、三维，甚至三维空间再加时间，也就是四维。

哪怕每个维度只有几百个网格点，工业尺度往往甚至是每个维度上千个网格点，那么如果你把它直接当作"上下文"，就是数千亿甚至万亿级。

所以，别想着用 Transformer 直接处理这种规模。哪怕把世界上的算力都拿来，也不够，而且这些算力还得全部放在一起。这就是为什么我们需要其他架构。

RJ Honicky：我稍微反驳一下。现在已经有视觉-语言模型、视频模型了，它们不是也在学习从现实世界到潜在空间的映射吗？

Anima Anandkumar：关键在于它们现在的分辨率非常低。

物理世界里我们需要的分辨率，可能是 1000×1000×1000 这种尺度。你算一下，光这一点就已经是非常巨大的规模。今天我们做图片和视频模型，并没有真的在这么高的物理分辨率上计算。

Brandon Anderson：这里我想到一个例子。

Anima Anandkumar：而且视频通常还是自回归生成，本质上只需要一步一步预测下一步。

Brandon Anderson：对。

RJ Honicky：但一般来说，视觉模型也会学习某种 codebook，对吧？也就是学习如何把现实世界压缩到潜在空间。如果物理世界也存在可以压缩的结构……

Anima Anandkumar：问题在于，很多视觉和视频模型的目标主要是"看起来不错"，而不是进行高精度物理模拟。

对真实物理系统来说，更高的分辨率和细节不是装饰，而是必要条件。至少训练数据本身就必须保持这种高分辨率，模型也必须能够处理并推理这些细节。

这正是瓶颈所在。我们不能简单把所有细节扔掉，说每个维度只留 50 个或者 100 个网格点。那样不足以正确建模流体动力学、等离子体、材料形变等现象。

这些问题要求高保真，而高保真就意味着高分辨率。

五、AI 能否挑战几十年数值预报体系

RJ Honicky：我的理解是，你有一个比较明确的判断：如果 AI 接下来想继续扩大能力、并且真正变得可靠，就必须更深入地把物理世界纳入模型。很多人都有类似观点，但你比较特别的是，你已经做了不少把神经算子真正用到物理世界里的案例，而且你的判断似乎就是从这些实践中长出来的。你能不能分享几个你觉得最有意思、最令人兴奋的例子？

Anima Anandkumar：可以。我们一开始是从神经算子求偏微分方程出发，但其实更一般地说，它并不要求问题一定写成偏微分方程；只要是时空数据、多尺度数据，都可以考虑。

所以我们开始寻找一些有意思的案例。天气建模就是其中一个，因为天气数据是开放的。ECMWF——也就是欧洲中期天气预报中心——提供了公开数据。既然数据在那里，我们就想，那就试试看。只要有数据可用，通常都是好消息。

但 2021 年前后，很多气象科学家都提醒我们：这件事太难了。传统天气预报已经发展了几十年，是非常严谨、从底层物理出发的建模体系，比如从流体动力学出发，一步一步计算第二天、后天的天气。很多人的直觉是：AI 不可能轻易超过几十年积累下来的天气模型。

但我们还是直接去训练了。我们用神经算子来捕捉这些现象，结果让我们自己都很意外：模型不仅准确，精度已经非常接近传统天气模型，而且速度快了数万倍。

过去需要大型超级计算机才能跑的计算，现在可以用消费级 GPU 完成。模型本身很小，运行很快，同时又保持较高精度。我觉得这件事改变了很多人的想法。

再后来，DeepMind、华为等团队也陆续跟进。我们很早就把 FourCastNet 以比较宽松的许可方式开源，这使公司、气象机构和研究者都可以直接基于它继续开发。

现在你能看到一个非常有意思的变化：AI 天气模型开始真正进入气象机构。它甚至让全球南方一些规模较小的气象机构，有机会获得过去只有大型国家气象机构才能负担的预测精度。某种意义上，这是在让天气建模能力民主化。

所以天气只是一个例子，但它非常清楚地展示了：这个领域在很短时间里发生了范式变化——AI 开始被认为可以成为一种可靠的天气建模工具。

RJ Honicky：我看到你提到的这些模型时有一个感觉：你最早似乎抓到了一个别人还没抓到的关键洞察，后来其他团队也找到不同机制追了上来。

这里真正发生的是不是一种思维方式的变化？是不是说，过去大家没有意识到这些数据里其实存在足够强的可学习结构，而你们先相信了这一点，然后不同方法都开始去学习这些结构？

Anima Anandkumar：我想稍微澄清一下。

第一阶段最重要的发现，其实很简单：传统方法每次都要重新求解一套偏微分方程；AI 则可以从数据里学习规律和模式，然后在新实例上直接给出结果。这样既可以达到接近的精度，又可以快得多。

接下来我们才开始问：怎样把精度进一步提高？

天气还有一个很重要的时间尺度问题。短期天气通常是未来一两周可预测的东西；再往后就进入次季节尺度，最终走到气候建模。传统上，不同时间尺度往往用不同系统：短期一个模型，长期又是另一套模型。

但对我来说，地球只有一个。

如果我们真的说自己想做一个"基础模型"，那它就不应该只在一个很窄的时间范围里工作，而应该能够同时处理非常短期和非常长期的问题。

这也是 FourCastNet 后续版本里我们努力做的事情。一个关键改进，就是把地球的球面几何真正纳入模型。

很多架构在短期天气上可以做到不错精度，但一旦把它不断向前 rollout，跑几个月甚至更长时间，就会迅速发散、爆掉。一个原因是：它们在表示上把世界当成了一个矩形，但真实地球不是矩形。

当你把球面几何以及相关结构直接纳入神经算子以后，同一个模型就可以更稳定地向更长时间尺度运行。

在这个方向上，也已经有机构基于神经算子架构进一步做气候模型。长期气候模拟和短期天气预报并不是同一个难度层级。对于真正的气候模拟，你需要模型尊重地球本身的球面结构，并且在长期反复 rollout 时一直保持这种结构信息。

如果一个模型只是针对几个指标做短期近似，我会把它看成比较窄的 surrogate；而基础模型的目标应该更广。

Brandon Anderson：你刚才说 FourCastNet 训练大概用了 5 万个数据样本。能不能具体说说这些数据是什么样？

模型的输入到底是什么？它在预测什么？另外，你刚才一直在讲从天气走向气候，这种泛化到底怎么发生？

因为如果只有 5 万个样本，我会担心这些数据很依赖本地地形。比如如果你总是在建模堪萨斯，它怎么迁移到瑞士阿尔卑斯山？又怎么迁移到喜马拉雅？

Anima Anandkumar：先澄清一点：我们训练的是全球天气模型，所以输入本身覆盖整个地球。

我们会给模型当前的全球天气状态，比如风、湿度等，然后让它以自回归方式预测下一个时间点。时间步长是 6 小时：给定现在，预测 6 小时以后；再把这个结果作为下一步输入，再预测之后 6 小时，如此不断 rollout。

理论上，同一个模型可以一直往前滚动。但天气本身有可预测窗口，超过这个窗口以后，你就不能再把单一确定轨迹当成"准确答案"。

这时要使用集合预测，也就是同时运行很多不同轨迹，得到未来几个月甚至几年发生不同情况的概率分布。长期预测不是一句"某一天一定会怎样"，而是概率性的。

RJ Honicky：也就是说，你会产生一组不同的预测轨迹，然后对这些轨迹做统计，从而得到气候层面的预测？

Anima Anandkumar：对。你会运行多个 rollout，也就是得到多条未来演化轨迹，然后再从这些轨迹的整体分布中提取结果。

RJ Honicky：所以这里计算效率就变得非常关键。

Anima Anandkumar：没错。这正是传统气候建模最大的瓶颈之一：哪怕只运行一条非常长的轨迹，成本都非常高；而要做真正的气候分析，通常还需要跑很多条。

所以接下来一个问题就是：我们到底怎样验证气候模型？

Brandon Anderson：你需要跑很多条轨迹，然后看它们整体怎样演化。刚才你也提到蝴蝶效应：哪怕有一个"完美"的天气模型，本地细节大概也只能精确预测一两周，之后就会因为混沌变得不可精确计算。

所以你会做很多 rollout，允许它们有一些混沌和差异，然后看总体统计。但问题是：当时间尺度拉得非常长，你怎样验证这个模型是真的可靠？

Anima Anandkumar：这是一个很难的问题。

首先，你必须确保模型满足各种物理约束。如果只是做最普通的自回归 rollout，很可能做不到这一点。

我们现在正在研究的一个方向，就是当模型不断向前 rollout 时，怎样持续施加正确的物理约束。

这里有一个很微妙的平衡：如果你为了稳定，把细节全部抹平，模型就会失去准确性；但如果你把所有微小细节都完整保留，其中一些细节可能在物理上已经不合理。

所以这仍然是一个开放问题。

气候模拟真正难就难在这里：你既希望 AI 足够快，能够做非常长时间的模拟，又希望对这些长期结果有充分信心。这两件事要同时做到，目前仍有很多研究要做。

六、极端天气：数据稀缺为什么不一定意味着不可预测

Brandon Anderson：我不确定这算天气问题还是气候问题，不过美国西南部最近刚经历了现代气候记录里非常极端的一次热浪。我不知道你有没有具体参与分析，但你知道你们或者其他团队有没有真正把这次事件预测出来吗？

Anima Anandkumar：我没有这一次事件的具体信息，不过在我们最近的研究里，确实专门测试过极端天气。

这类问题里，只给出一个确定性输出是不够的。面对极端天气，你需要概率预测，而且要非常认真地做概率校准。

我们的结果显示，模型可以很好地捕捉这类事件。其实早期第一次做天气模型时，我们就很惊讶：我们把一些飓风和风暴可视化出来，模型表现得很好。

这件事一开始很反直觉，因为人们通常会觉得 AI 应该擅长"常见事件"，而不擅长罕见极端事件。

但这里有一个更普遍的启示：物理世界也许比我们想象中更有结构。极端事件虽然少见，却不是任意发生，它们受很明确的物理机制约束。

我们在很多例子里反复看到这一点。比如等离子体和聚变反应堆，可能只有几千个样本，但仍然可以很好地预测破裂这类事件，而且比传统模拟快大约一百万倍。

这些结果听起来很惊人，但我觉得某种程度上是自然界在帮助我们：现实系统存在大量潜在结构。

传统数值方法通常要求"无论给什么情况，我都要重新求解这些方程"；AI 则从数据中学习，可能会发现这些系统实际存在的低维结构、可预测结构，也就是发现问题为什么在很多真实分布里没有理论上那么难。

我们在越来越多案例里看到这种现象。

Brandon Anderson：这让我想到一个类似例子。我自己的背景更接近计算生物学，而 AlphaFold 显然是这个领域非常令人兴奋的进展。

蛋白质结构预测这个问题本身受到很强的物理约束。我觉得这也是为什么，在一个整体非常复杂、AI 往往很难取得决定性突破的生物学领域里，蛋白质结构反而成了最成功的案例之一。

那些可以用微分方程很好描述、或者至少受到强物理规律约束的问题，好像确实更适合把这些方法结合进去。

我刚才好像没有真正问一个问题。

RJ Honicky：没关系。回到刚才的话题：现在我们已经谈了天气和气候、等离子体、也谈了生物学。你还准备了一些可视化案例。

你能不能带我们看一下这些例子？它们之间有没有一条共同的主线？我想听众应该已经能隐约猜到一点，但我还是很想看。

Anima Anandkumar：当然。

这里想展示的第一件事，是现实世界跨越很多不同尺度。你可以从原子尺度、蛋白质尺度，一直到我们刚才说的行星尺度天气系统。

神经算子的目标，就是能够跨这些不同尺度工作，也能够把不同尺度的数据纳入模型。

这和今天很多视觉、视频模型的目标非常不同。大量生成式视觉模型最重要的是"看起来好看"，所以可以使用相对低的分辨率，采用自回归方式，只要生成的视频够短、视觉上合理就可以。

但工业尺度的物理模拟不是这样。

真正高保真的物理模拟必须有足够高的分辨率。大气就是一个很好的例子：你在不同分辨率下观察，会看到完全不同的现象。如果分辨率不够，有些关键现象就直接消失了。

所以一个核心问题是：AI 能不能在保持高保真的同时，比传统模拟快得多？

这里展示的神经算子例子，就是为了说明这种差异。

普通神经网络往往固定在某个像素数、某个离散分辨率上。如果你把图像不断放大，最后只会越来越模糊——它并不存在更细的函数结构。

神经算子则使用函数空间表示。理论上你可以不断提高分辨率；如果获得更高分辨率数据，可以把这些数据加入；如果没有数据，也可以在更细尺度加入物理约束。

所以它提供的是一种把多尺度现象放进同一个模型的方法。

Brandon Anderson：那你说的物理约束具体在哪里？比如是局部的流体方程、水动力方程之类吗？

Anima Anandkumar：都可以。

你可以加入守恒定律。例如在不可压缩流体里，可以加入相应的守恒关系；你也可以加入材料形变规律，比如材料怎样拉伸；甚至可以直接加入完整的偏微分方程。

这其实也引出了一个我们正在研究的问题：不同物理约束应该怎样安排、怎样选择。

有些物理规律很难直接作为损失函数加入，有些则相对容易。所以你不能简单地说"把所有物理都塞进去"，还要认真设计到底约束什么、怎样约束。

RJ Honicky：我理解你说的"加入物理约束"，主要就是把这些东西加进损失函数，对吗？

Anima Anandkumar：对，因为这是目前比较可计算、可操作的方式。

如果你要求网络严格、硬性地满足所有约束，通常会非常难；把它们作为损失函数的一部分，会更可行。

当然，这里还有另一个问题：物理损失和真实数据损失之间到底怎样平衡，需要认真调节。

刚才展示的天气案例里，我们也可以看到类似东西。比如"大气河"这种现象，在加州经常带来非常强的降雨和风暴。要捕捉这种现象，就需要模型能够理解非常大尺度的空间结构。

RJ Honicky：那我们这周就等着检验你的预报了。

Anima Anandkumar：对。之所以拿它出来展示，就是因为这类现象本身是全球尺度、或者至少跨越数千英里的大尺度现象。

要准确建模它们，就需要一种能捕捉非局部依赖的模型。神经算子能够做到这一点。

Brandon Anderson：那这些天气模型的训练数据具体来自哪里？你前面说过一点，但我还是想弄清楚：是卫星数据？地面观测？还是二者的混合？

Anima Anandkumar：是不同来源的组合。

这类数据通常叫再分析数据。它不是单一传感器直接给你的"原始天气记录"，而是把历史观测——包括卫星等数据——和物理数值模型的结果通过数据同化结合起来。

气象机构会把这些再分析数据整理并公开，我们就可以用它们训练模型。

Brandon Anderson：也就是说，他们先把全球各种气象观测汇总起来，然后用传统物理模拟去补足空间和时间上的细节，得到一套统一的全球数据。

短时间尺度上，这类物理模拟非常有用，但如果一直往很远的未来推，就会很快发散。

RJ Honicky：所以本来每一家机构都需要重复做这套很贵的处理，但现在有人先把它做成了统一数据，你们就可以直接利用？

Anima Anandkumar：对，这套数据本身已经准备好了。

而且因为它在生成过程中已经融合了物理模拟，所以某种意义上，训练在这种数据上的模型天然就吸收了一部分物理信息。也许这也是它为什么在一些极端天气上能够表现不错的原因之一。

七、AI 天气模型更大的价值是风险评估

Brandon Anderson：包括极端天气事件。

Anima Anandkumar：对。

这里展示的是，我们的模型后来进入了 ECMWF 的公开评估和展示系统。那大概是在 2023 年秋天前后。

对我来说，这是一个非常重要的节点，因为 AI 天气模型第一次真正被气象机构公开展示，公众和天气科学家都可以直接观察它们到底表现怎样。

例如，FourCastNet 在一些飓风事件上表现得很好。这类模型如果真的能更早、更准确地预测极端天气，对人的生命安全和经济损失都会非常重要。

我觉得也是从这些真实事件开始，气象科学界对 AI 天气模型的接受度明显提高。

这里也回到我刚才说的集合预测。无论是极端天气还是气候问题，你都不能只看一条唯一轨迹。

真实初始状态本身就带有噪声和不确定性。比如一个飓风刚在加勒比海形成时，你不可能知道每一个变量的真实精确值。所以你会对初始条件加入不同幅度的扰动，然后同时运行很多条未来轨迹，看结果分布。

这才是真正的风险评估。

传统天气模型在这里成本尤其高，因为你必须重复跑很多次大型模拟。

AI 天气模型快数万倍之后，你就能够跑规模大得多的集合预测。对于风险评估来说，这是非常大的能力提升。

Brandon Anderson：你们有没有用历史飓风数据系统做过这种校准？也就是说，对过去事件重新跑集合预测，然后检查预测概率到底准不准？

Anima Anandkumar：有。在 FourCastNet 后续研究里，我们专门评估了极端天气和集合预测，也训练模型去获得更好的概率校准。

对于这类事件，校准非常重要：不是只要"预测到"就够了，还要让给出的概率本身是可信的。

Brandon Anderson：FourCastNet 3 相比第二版和最早版本，最关键的变化是什么？

Anima Anandkumar：最早的版本主要使用傅里叶神经算子，但没有把球面几何显式纳入模型。

后来我们越来越觉得，地球是一个球体这件事本身非常重要。如果你不考虑它，就会产生几何畸变。所以后续版本开始认真处理地球球面结构。

Brandon Anderson：等一下，这可能是个很傻的问题：如果之前不是球面表示，你们是怎么做的？类似墨卡托投影那样，把地球摊平成平面吗？

Anima Anandkumar：对，基本就是标准做法，其他很多天气模型也是这样：把球面世界投影到一个平面网格上，然后做天气预测。

对于短期预测，这样做通常问题不大。但我们的目标，是让同一个模型也能跑更长时间。

把球面几何纳入模型之后，长期 rollout 的稳定性明显提高。

而到了 FourCastNet 3，我们还进一步把重点从单一确定性预测扩展到集合预测。也就是说，我们不只要求模型预测一条最可能轨迹，而是要求它给出正确的概率分布，所以训练目标也需要针对概率预测进行设计。

RJ Honicky：你们通常会往前预测多长时间？又会做多少次 rollout？

Anima Anandkumar：rollout 的长度其实就是预测多远。我们的基本时间步长是 6 小时，然后你可以不断向前滚动，理论上想预测多远就可以继续滚动多远。

RJ Honicky：抱歉，我问的是集合里会有多少个样本、多少条轨迹？

Anima Anandkumar：这个数量是可以选择的。我们可以做不同规模的集合。现在展示的很多结果大概是几十条轨迹，不过理论上也可以做得更大。

RJ Honicky：几十条轨迹就足以做很长期的预测吗？我的直觉是，预测时间越长，需要的集合规模应该越大。

Anima Anandkumar：不一定完全是这样。更重要的是把集合校准好，让这些轨迹具有合适的离散程度，也就是能够正确覆盖不确定性，而不只是单纯增加数量。

RJ Honicky：所以即使只有几十条集合成员，在非常长的 rollout 上，也可能足够？

Anima Anandkumar：这里我还是要强调，真正非常非常长的 rollout 还有很多未解决问题。

你最终还是需要在长期演化过程中加入物理约束，确保模型不会慢慢偏离真实物理。这正是我们目前正在积极研究的方向。

不过和完全忽略球面结构以及其他领域信息的天气模型相比，我们目前这些模型已经能够做到更长、更稳定的 rollout。

Brandon Anderson：你说长期气候模拟里需要加入物理定律。具体怎么做？

因为很多守恒关系是局部的，但如果最后你对一个集合做平均，这些局部守恒关系可能就被破坏了。

Anima Anandkumar：关键是：每一条集合轨迹、每一个 ensemble member 本身都要满足物理约束。

Brandon Anderson：明白。所以你不是直接对集合本身定义一个粗粒度的"概率物理约束"？

Anima Anandkumar：不是。那样会丢掉分辨率和细节。

RJ Honicky：我还是有点困惑。既然不是直接对集合做一个平均模型，那这些 ensemble 最后怎样组合？

Anima Anandkumar：最后当然还是会做统计和平均，但每一条轨迹都是独立预测出来的。

Brandon Anderson：每一条单独轨迹都分别满足这些约束，但"集合平均"本身不需要被当作一个独立物理系统去满足约束。

Anima Anandkumar：对，这样才能在集合预测里保持物理一致性。

Brandon Anderson：当你真正把地球表示成球面时，你们是不是会用球谐函数（spherical harmonics）之类的东西？也就是为球面选一个自然的基？这和傅里叶神经算子应该很契合。

Anima Anandkumar：没错。傅里叶方法在这里非常有帮助，因为它很自然地允许我们把这类几何结构纳入表示，让模型更忠实地对应真实球体。

RJ Honicky：相比墨卡托投影之类的方法，这确实自然得多。

Anima Anandkumar：是的。墨卡托投影会让格陵兰岛看起来巨大，大家都知道这种畸变。

更广泛地说，我真正想强调的是：到了物理世界，几何结构和领域信息会变得越来越重要。

原因有两个。第一，数据有限；第二，我们经常要求模型做外推，也就是跑到训练分布之外。

我们的天气模型实际上只训练"预测下一个 6 小时"，再加一点多步微调来帮助自回归 rollout。我们并没有直接拿几个月、几年的气候模拟来训练模型，因为成本太高。

但最后我们又希望它能够在远远超过训练时间尺度的范围里稳定工作。

如果你只是把一个标准 Transformer 或者其他通用架构放进去，然后希望它"神奇地"自动学会所有这些长期结构，往往不会成功。

所以我们会加入更明确的领域约束，比如球面几何，也会以不同方式加入物理信息。

这也让算法设计本身重新变得更有意思：你需要更认真地设计模型，而不是只扩数据和规模。

八、一个反直觉细节：模型只训练未来 6 小时

RJ Honicky：那训练时的时间跨度到底有多长？

Anima Anandkumar：基本任务只是预测未来 6 小时。

RJ Honicky：只有 6 小时？

Anima Anandkumar：对，再加上一点多步的微调。所以这其实非常令人意外。

RJ Honicky：确实很意外。我原本以为你们至少会在几周甚至几个月的时间跨度上训练。

Anima Anandkumar：没有。模型主要学的是短时间步，但现在我们已经展示，它能够稳定向前 rollout 到几个月的时间尺度。

RJ Honicky：那总步数大概是——

Anima Anandkumar：几百步，甚至上千步。

RJ Honicky：你们的傅里叶基在时间维度上也做很多谐波展开吗？

Anima Anandkumar：这里要区分空间和时间。我刚才讲的傅里叶表示主要是在空间维度；时间维度上的 rollout 是自回归的。

RJ Honicky：所以时间本身不是在傅里叶域里展开？我刚才可能理解错了。

Anima Anandkumar：对，这个例子里不是。时间是自回归一步一步推进的。

RJ Honicky：明白了。

Anima Anandkumar：空间维度是傅里叶表示。

RJ Honicky：很有意思。那球面版本的角分辨率是多少？

Anima Anandkumar：在这个天气例子里，时间仍然是自回归的。当然，在其他一些问题中，我们也会研究把时间维度放进傅里叶表示，这也是一个值得探索的问题。但这里不是。

Brandon Anderson：明白。那这个球面天气模型实际使用的角分辨率是多少？

Anima Anandkumar：现有数据大概是 0.25 度分辨率。

Brandon Anderson：你说的是网格单元大小，还是球谐函数的频率？

Anima Anandkumar：如果你问的是我们到底保留多少个球谐模式，那要根据分辨率来定。在这个分辨率下，我们基本会使用大部分可用模式，只舍弃少数高频部分。具体数目我现在记不清了。

Brandon Anderson：我更想知道的是：从地球表面角度看，你们到底解析到多细？或者说对应的空间分辨率大概是多少？

Anima Anandkumar：这主要由数据决定。目前可用的天气数据就是大约 0.25 度网格。

Brandon Anderson：明白，约 0.25 度的角分辨率。

Anima Anandkumar：对，换算成整个全球网格，大概是数百乘几千这个量级。这里本身是标准气象数据的分辨率。

Brandon Anderson：我还是想弄清楚：在这种分辨率下，你们需要多大的基函数集合来表示？

Anima Anandkumar：这取决于分辨率本身。现在我们天气数据的上限就是现有观测和再分析数据的分辨率。

但未来如果能得到更高分辨率的合成气候模拟数据，就可以把这些信息进一步结合起来。这也是我们下一步想研究的问题之一：怎样把不同分辨率、不同来源的数据统一到一个模型中。

Brandon Anderson：你觉得神经算子能不能做超分辨率？也就是说，输出比训练数据本身更细的空间分辨率？

Anima Anandkumar：从模型形式上当然可以做，但如果输出分辨率超过了训练数据本身，就更需要加入物理约束，来确保那些额外生成的细节不是"看起来合理"，而是真的在物理上成立。

RJ Honicky：好，那我们再聊一些其他技术和应用。

Anima Anandkumar：案例确实很多。

刚才这个可视化主要是在展示：左边的模型把世界近似成矩形，所以 rollout 一长就很快发散；右边因为显式使用了球面结构，长期向前滚动时就稳定得多。

Brandon Anderson：不过右边靠近极区的地方，我好像还是看到了一点异常、像奇点一样的东西。

Anima Anandkumar：对，还是会有。

原因是这已经是非常长的 rollout，而且现在还没有完整的物理"护栏"。我们没有在每一步都把结果重新投影回一个严格满足全部物理约束的状态，所以本质上仍然是在做强外推。

但至少加入球面结构之后，稳定性已经提高了很多。

Brandon Anderson：和左边比确实好得多。不过如果人在南极，看来还是不能完全指望它。

Anima Anandkumar：对，极区确实是最难的部分之一。

接下来这个例子是聚变反应堆，是 tokamak。我们用模型来模拟复杂的等离子体演化，速度比传统模拟快大约一百万倍。

从某种意义上说，我们是在构建一个等离子体的数字孪生。

有了这个数字孪生之后，就可以进一步做更多事情。我们现在下一步正在研究控制问题：不仅要模拟等离子体，还希望在保持物理有效性的前提下，预测和避免 disruption，最终帮助聚变系统更稳定地运行。

Brandon Anderson：这里模拟的是 MHD，也就是磁流体力学方程吗？因为一旦发生破裂，等离子体能量可能在很短时间内集中并冲击反应堆内壁。

Anima Anandkumar：对，这种事件可能直接损伤反应堆，所以是一个非常关键的瓶颈。真正发生之前，你往往不得不提前停机，而停机本身又会破坏持续运行。

这里还有很多开放问题。

但大方向是：真实物理实验非常昂贵。如果能够在数字孪生里捕捉更多行为，同时保证物理有效性，那么你就可以把越来越多的测试、控制和设计前置到数字环境里。

我们希望这样能够加快进展。当然，现在还只是早期步骤。

RJ Honicky：目标是不是这样：一旦模型判断某种破裂即将发生，就及时调整磁场，把等离子体重新约束、稳定下来？

Anima Anandkumar：对。我们现在正在做的下一步，就是把"模拟"和"控制设计"一起做，而不是只做一个被动预测器。

Brandon Anderson：你们是在和某个具体实验室合作吗？

Anima Anandkumar：这个案例最初是和英国原子能管理局合作的。现在我们也在和美国的一些团队合作，希望覆盖不同聚变路线。

这里展示的是 tokamak，我们也在做 stellarator，以及其他不同方案。

Brandon Anderson：仿星器确实很难。

Anima Anandkumar：是的。但理想情况下，我们最终希望能够直接在数字孪生里设计它们。

也就是说，能不能先在数字世界里探索哪些结构更可行、更实用？

我觉得从 AI 研究者的角度看，这其实很有价值，因为我们可以保持相对"路线中立"，不必太早押注某一种技术。

我喜欢同时和不同聚变路线合作，看 AI 能不能让每一种路线都更快迭代，然后再根据结果判断，而不是在非常早期就把某些方向排除掉。

现实世界里造一个大型聚变装置代价太高，所以你不得不尽早砍掉很多高风险方案，只保留最可能成功的一条。但如果大量探索可以先在数字孪生里完成，AI 就允许我们承担更多探索风险。

Brandon Anderson：我注意到你的研究生涯有一个明显变化。

早期你花了很多时间做机器学习的理论基础和数学问题；大概六到八年前开始，你越来越多地进入具体应用，而且应用范围变得非常广。

当然你现在仍然在做很硬的数学问题，比如 TorchLean，但和过去相比，现实应用明显更多。

是什么促成了这种转变？这些年你又学到了什么？

Anima Anandkumar：我觉得自己某种程度上是和 AI 一起成长的。

早期神经网络并不好用：数据不足、优化困难，还有很多其他问题。所以那时我们必须先建立理论基础，希望从这些理论里发展出真正可用的算法。

我早期做张量方法就是这种思路。在深度学习之前，我们已经有很多概率模型，比如潜在狄利克雷分配，但求解和大规模计算很困难。张量方法提供了一种既能并行、能扩展到大规模，同时又有良好理论基础的途径。

后来深度学习真正起飞，我们看到它在实践中效果非常好。理论理解当然也有一些，但相对它的复杂程度来说，其实远远不够。

对我来说，理论不应该成为一种束缚。理论应该是赋能工具。

所以我后来很多探索转向了：怎样让这些方法在现实里真正工作、怎样做到大规模。那也是我在 AWS、后来在 NVIDIA 大量工作的重点——真正把手弄脏，把系统做出来。

而现在，我反而看到一种"绕了一圈又回来的"趋势。

纯数据驱动的方法在一些方向上开始出现饱和。一个方向当然是继续提高硬件效率、能源效率，让同样能力的模型更便宜。

但另一个更根本的问题是，在物理世界里，我们本来就没有那么多数据，而且经常要求模型做非常困难的外推。

科学发现从定义上就是外推。

如果某个"新发现"已经有大量训练数据，那它就不太像真正的新发现了。

所以在这里，我们必须重新回到更有原则的思考：架构该怎样设计？算法怎样设计？损失函数怎样设计？哪些结构应该显式加入？

我觉得这就是一个完整的回环：把深度学习里已经证明有效的东西保留下来，但让它们变得更有原则、更能利用问题本身的结构。

Brandon Anderson：还有不少应用看起来也非常自然。我不确定你已经做过，还是我漏掉了相关论文。

比如电磁电路设计、机械设计、材料设计、散热和热沉、各种流体问题。顺着微分方程一路想下去，还有电磁、扩散、MHD 等等。

你们还在做哪些其他方向？

Anima Anandkumar：可能性其实几乎是无穷的。

只要问题里有可以利用的物理数据，我们就能尝试。

比如地下碳封存：如果把二氧化碳注入地下储层，几十年里它怎样迁移？压力怎样累积？会不会泄漏？传统模拟很贵，我们可以用神经算子更快地建模这些长期演化。

另一个方向是复杂几何。

比如汽车、飞机的空气动力学。这里有一个很有意思的潜在空间例子：你可以把一个汽车或者其他复杂几何，通过变换映射到一个拓扑上更简单、标准化的空间——比如类似"甜甜圈"的域——在那个空间里做物理建模，再把结果映射回原始几何。

这样一来，同一个模型就有机会跨很多不同形状泛化。

Brandon Anderson：你没把它变成咖啡杯吗？甜甜圈和咖啡杯不是拓扑学最经典的那个笑话吗？

Anima Anandkumar：没错。这里真正想表达的是：如果你能在潜在空间里统一处理很多不同几何，并且在那个空间里正确表达物理规律，那么模型就能够跨大量不同形状泛化，而不是每出现一种新几何就重新训练一个完全独立的系统。

RJ Honicky：所以我的理解是，你更大的愿景其实是"物理基础模型"。

也就是说，同一个模型在训练时看过很多不同物理现象，然后面对一个具体问题时，可以通过微调、条件输入或者类似 prompt 的方式，让它适配特定几何和特定任务。

最终你不是每一个物理问题都训练一个模型，而是让一个更通用的模型在很多物理系统之间迁移。

Anima Anandkumar：对，这就是我认为的未来。

今天我们已经有语言基础模型，也许视觉领域也开始有类似基础模型，但我们还没有真正的"物理基础模型"。

目前看到的大多数系统仍然是窄域 surrogate：一个模型只服务一个特定物理问题。我们现在正在不断扩大它们的范围。

理想情况下，我们应该有更广泛的模型，可以处理很多不同现象，而且还能够处理 multiphysics，也就是多个物理过程相互耦合。

真实世界从来不是只有一种物理规律单独起作用。热、力学、电磁、流体等过程往往同时存在。所以真正的基础模型最终需要把这些耦合起来。

这是一个方向：让同一个基础模型既能模拟，也能做设计。

另一个特别有意思的方向是 inverse problem，也就是逆问题。

传统上你给定一个设计，模拟它会发生什么；逆向设计则反过来问：如果我想得到某个目标结果，最好的设计是什么？

神经算子不仅可以做前向模拟，还可以把模拟过程嵌进优化里，直接帮助寻找更好的设计，而且仍然能够用物理模拟对结果进行验证。

我希望这些能力最终可以出现在同一个模型里。

RJ Honicky：对于这种多物理场模型，你们已经看到迁移的证据了吗？它有没有可能泛化到训练时完全没见过的物理？

Anima Anandkumar：如果是"完全没见过"的物理，那当然不能凭空迁移。

比如你说的是超出标准模型的全新物理，而且我们完全没有任何相关数据，那模型不可能神奇地知道答案。

但如果是组合已知物理，就不一样。

例如，模型分别见过热怎样传播，也见过材料在力作用下怎样形变。现在你给它一个耦合问题：温度升高导致材料伸缩、应力变化。

这种高度非线性耦合问题，模型可能没法零样本直接解决，但因为它已经分别学过两个组成部分，就有机会只用很少的新样本完成微调。

我们在不少工作里已经看到这种趋势：可以像搭课程一样，先学习较基础的物理模块，再逐渐把它们组合起来。

这也是现实世界一个很好的特点：我们可以主动设计这种 curriculum，把模块化知识逐步加入模型。

另外，设计问题也很重要。

比如逆光刻：给定你希望最终在芯片上得到的结构，反过来设计光刻掩模。这就是典型逆向设计。

我们也在做量子点、非线性光子学里的器件和门结构设计。

这些问题共同的模式是：先有一个 forward model，能够模拟物理过程；然后把它放进逆向优化里，去寻找最优设计。

这类问题人类往往并不擅长手工搜索。我们的合作研究者过去会花很多精力人工调设计，而 AI 可以搜索出效率很高、甚至非常反直觉的结构。

更重要的是，因为物理模拟已经在循环里，我们不仅得到一个"看起来不错"的设计，还可以直接验证它为什么能工作。

所以我觉得，这些案例说明 AI for Science 不只是更快地做模拟。它最终可能真正参与新设计和新发现，从而推动创新本身。

RJ Honicky：但每一个案例都需要很多领域知识。

如果一个某个领域的专家想把你的基础研究快速用到自己的问题上，他该怎样开始？神经算子以及你们这些框架，有没有比较直接的入口？

Anima Anandkumar：神经算子有完整的开源库，而且已经被广泛采用，也是 PyTorch 生态的一部分。

现在不仅研究机构在用，也有公司在用。我们有比较完整的文档，里面包含多种架构、示例和 recipe。

所以如果有人想开始，我建议先直接从开源库入手。

九、全球治理：为什么 AI for Science 不能和语言模型一刀切

Brandon Anderson：你最近加入了联合国科学咨询委员会。我们时间快到了，能不能简单讲讲这件事，以及你希望在委员会里推动什么？

Anima Anandkumar：我很荣幸能够加入联合国的科学咨询委员会。

现在全球地缘政治非常复杂，这不是我的专业，但我觉得在尤其涉及 AI 的重要讨论中，让科学家真正坐在桌前是非常重要的。

我希望自己能够尽量保持客观，以科学证据为基础参与讨论。

我们要思考 AI 的全球影响：怎样让 AI 的收益真正触达更多人？怎样让 AI 能力更普惠？怎样控制意外后果和潜在伤害？

这些都只是最开始的问题。

另一方面，像天气和气候模型这样的科学 AI，也让我很兴奋。联合国体系里有很多机构真正扎根世界各地，比如农业、粮食、气候相关组织。

如果更好的天气模型能够帮助农业规划、灾害预警和资源分配，科学 AI 就可以直接影响现实生活。

所以我很期待参与其中，并尽可能贡献自己的专业判断。

Brandon Anderson：看你的研究生涯，以及你今天谈问题的方式，我感觉你是一个非常偏"解决具体问题"的人，不太喜欢纯粹哲学化地讨论。

而且和 AI 圈里很多人相比，你似乎也更乐观，对技术未来比较有希望感。

你觉得这种视角能给联合国科学咨询委员会带来什么独特价值？

Anima Anandkumar：谢谢。

我还是希望尽量以科学家的方式保持客观。

我觉得今天的 AI 讨论有时候过度聚焦负面影响，因此忽略了一些非常重要的正面可能性，尤其是 AI for Science。

很多监管框架其实默认"AI = 大语言模型"。

语言模型确实可能被用于操纵、误导等问题，这些风险当然需要认真治理。

但科学 AI 并不完全是同一种东西。

所以"一刀切"的监管方式很容易产生问题。

我们需要意识到，有些 AI 可以通过新发现真正改变世界。我们不仅应该让世界各地的人享受到这些成果，还应该让更多地区的研究者本身获得使用 AI、做科研、继续创新的能力。

RJ Honicky：我们几乎会问每一位嘉宾一个问题：如果你可以用魔法直接消除你这个领域里的一个瓶颈，你会选什么？为什么？

Anima Anandkumar：更多算力。

这听起来可能是最简单、甚至有点偷懒的答案。但事实就是这样。

当然，和几年前相比，我们现在拥有的算力已经多得多，要感谢 NVIDIA，也要感谢整个硬件行业。

但我真正想说的是：对科研而言，让更多研究者拥有足够算力仍然非常关键。

现在一些国家实验室正在建设更多超级计算设施，希望为科研提供更大的计算资源。

如果没有足够算力，我们就没办法大量实验，也没办法快速迭代，更不可能持续创新。

这是我一直非常强调的一点，我觉得它的重要性怎么说都不过分。

RJ Honicky：最后，如果你想给听众一个行动建议——你希望大家去做什么、思考什么、或者学习什么？

Anima Anandkumar：第一，你可以直接去尝试神经算子的开源库。里面有不同架构、recipe 和使用案例，亲手玩一遍会更容易理解。

但更重要的是，我希望大家意识到：AI for Science 不只是语言模型，也不只是 Agent。

语言模型和 Agent 当然是其中一部分，但在某种意义上，它们现在仍然像外部的"包装层"——帮助我们和已有工具、已有知识交互。

真正缺少的一大块，是 AI 对物理世界本身的理解。

直到 AI 不只是把物理世界当成符号描述，而是能够真正模拟它、设计它，并基于这种理解去控制现实系统，我们才算补上了这块能力。

所以我希望大家更多从"物理世界的 AI"这个角度去理解 AI for Science。

RJ Honicky：Anima，这场对话太有意思了。我已经很想自己去试试神经算子，脑子里甚至已经冒出了一些可以做的东西。非常感谢你抽时间和我们深入聊这么久。

Anima Anandkumar：谢谢 RJ，也谢谢 Brandon。我也非常享受这次对话。我们确实深入讨论了很多问题，很感谢你们愿意把这些细节挖出来。谢谢。

延伸思考：当 AI 从"描述世界"走向"模拟世界"

这场访谈最容易被做成一句耸动标题："全世界算力都不够，Transformer 理解不了物理世界。"但如果严格按上下文看，Anandkumar 并没有给出这么泛化的结论。她讨论的是工业尺度、高分辨率、连续物理场。如果把三维空间和时间中的每个网格点都当作全局注意力对象，计算确实会迅速失控。

真正值得观察的信号是：过去几年行业曾短暂相信，只要模型够大、数据够多，架构本身的重要性会下降；而在 AI for Science 中，架构又重新回来。不是因为深度学习失效，而是因为不同世界有不同结构。语言、视频、流体、等离子体，并不一定应该共享同一套计算原语。

语言模型的成功依赖互联网提供的海量文本和代码，但科学发现恰恰经常发生在数据不足的地方。极端天气、聚变实验、全新材料、尚未被制造的器件，都不可能拥有无穷训练样本。

这里 Anandkumar 的判断非常关键：物理世界虽然数据少，却有强结构。几何、守恒、对称性、方程和边界条件本身就是信息。未来 AI for Science 的竞争，不只是哪个公司拥有更多 GPU，也可能是谁能把这些"人类已经知道的结构"更有效地编码进模型。

今天的大语言模型已经可以高速产生想法，甚至可以提出实验方向。但她在访谈开头就指出：科学从来不缺想法，瓶颈是测试和验证。

这也是 TorchLean 和神经算子看似相距很远、实际上属于同一条主线的原因。一个方向是在数学和神经网络层面做形式化验证；另一个方向是在物理模拟里持续施加真实世界的约束。两者都在回答同一个问题：AI 给出一个答案之后，我们凭什么相信它？

当 AI 进入核反应堆、天气灾害预警和工业控制，这个问题比"回答像不像人"重要得多。

过去几年，"基础模型"几乎等同于可以通过自然语言调用的大模型。但 Anandkumar 想象的是另一种通用性：一个模型跨越天气、流体、热、力学、电磁、等离子体等不同物理过程，并进一步学习它们的耦合。

它不会首先表现为更会聊天，而是更会模拟、预测、控制和设计。

这个方向现在仍有明显边界。她自己多次承认，长期 rollout 的物理一致性、超分辨率、跨物理迁移、完全未知物理上的泛化，都远没有解决。也正因为这种克制，这场访谈的价值并不在"下一个大模型已经出现"，而在于它清楚指出了今天 AI 技术版图仍然缺失的一块。

过去十年，AI 最惊人的能力主要发生在数字世界：识别图片、生成文本、编写代码、搜索信息、进行语言推理。大模型让机器越来越擅长描述世界。

但天气不会因为一句回答"听起来合理"就按模型预期运行，聚变等离子体也不会容忍一次幻觉。真正进入物理世界，意味着模型必须面对连续性、混沌、多尺度、守恒、几何和验证。

Anima Anandkumar 所提出的下一步，不是抛弃语言模型，而是把 AI 从"会谈论现实"推进到"能够模拟现实、验证现实，并参与设计现实"。如果这条路线真正成熟，AI 的下一场 Scaling 可能不只发生在更多 Token、更长上下文和更大的 Transformer 上，也会发生在数学结构、物理规律和科学实验之间。