最近欧洲人疯抢中国空调的消息相当火热，但有没有一种可能：

最需要空调的，是 AI 超算（doge）。

远在英国，这几天就发生了这样一件事：

英国最强 AI 超算之一的 Dawn，在 30 多度高温下，直接瘫了整整一周。

这台坐落在剑桥大学的超算，标签相当豪华：

英国政府 3 亿英镑国家 AI 算力计划的核心组成部分，1024 块 Intel GPU，256 台液冷服务器，已经支撑了超过 350 个科研项目。

今年 1 月，刚拿到 3600 万英镑的扩容升级，预计性能将提升 6 倍。

然后 6 月底，一波热浪来了，它就歇菜了。

更魔幻的是，这台超算上正在跑的研究，包括气候变化模拟。

啊这？？用来预测全球变暖的机器，被全球变暖打败了。

37.7 ° C，一个国家级超算经历的「至暗时刻」

事情是这样的。

今年 6 月，英国遭遇了有记录以来最猛的六月热浪。

6 月 26 日，诺福克地区的林伍德镇热到了 37.7 ° C，打破了 1957 年和 1976 年保持的 35.6 ° C 六月纪录。

英国气象局罕见地发布了连续三天的红色极端高温警告。

1000 多所学校停课，铁路信号因高温故障，公路路面开始融化。

然后到 6 月 27 日那天，随着当日热浪峰值降临，Dawn 超算所在的剑桥西区数据中心冷却系统顶不住了。

（P.S. 林伍德和剑桥都在英格兰东部，相距大约 103 公里）

Dawn，就此停摆。

△Dawn 图片

事件发生后，剑桥大学发言人向外界表示：

Dawn 遭遇了热天气期间的技术问题，冷却能力已完全恢复，预计访问将于 7 月 6 日重新开放。

没说具体原因，但情况就是：

从 6 月 27 日到 7 月 6 日，Dawn 整整「冷却」了一周多。

对于一台每小时都在烧钱、每一秒都在推进科研进度的超算来说，这一周的停摆着实可怖。

这不，被伤的最深的已经出炉了。

剑桥大学 Vendruscolo 教授的团队，正在用 Dawn 做帕金森新药分子筛查。

Dawn 的机器学习能力可以在几天之内筛查数十亿个分子，寻找能与帕金森相关蛋白聚集体结合的化合物。

如果用传统方法？半年起步，花费数百万英镑，而且只能覆盖 Dawn 几小时就能扫完的一小部分。

停机一周，意味着这条救命的流水线直接停转。

牛津大学的 Lennard Lee，英国癌症疫苗 AI 与超算项目的负责人，他的团队拿到了 Dawn 10000 个 GPU 小时的算力配额，用 AI 加速个性化癌症疫苗的靶点发现。

Lee 此前说过一句话：

以前需要几年才能完成的发现，现在只需要几周。

虽然事后 Lee 表示没有数据丢失，也不需要重做工作，但他话语中的庆幸，本身就说明了问题的严重性。

此外，英国南极调查局用 Dawn 训练的 IceNet 海冰预测模型暂停了，剑桥博士生 Bill McGough 用 Dawn 训练的 AI 肾癌筛查项目也停了…… Dawn 上面跑的 350 多个项目，几乎无一幸免。

而制造这一切的，不过是 37.7 ° C。

好，「凶手」现在已经抓到了，那最后谁应该来具体负责呢？

转了一圈，这锅，好像没人想接。

Dawn 的冷却系统由法国 Legrand 集团旗下的 USystems 供应。事后，USystems 发了一份声明：

我们的设备在整个事件中完全按照设计规格运行，表现正常。

翻译一下：散热崩了，但不赖我们，我们的设备本来就不是按这个温度设计的。

那是设计标准太保守，还是气候变化太快？

答案可能是：都是。

英国六月的历史极端温度只有 35.6 ° C，Dawn 的冷却系统大概率就是按这个量级设计的。

37.7 ° C，超标了。

而且这个「超标」来得毫无预警，因为上一次达到这个纪录，还是在接近 50 年前。

另外 Dawn 也不是唯一的受害者。

同一周，英国朴次茅斯的 Queen Alexandra 医院冷却机组故障，宣布紧急事件。

手术室停了，心导管室停了，影像科停了。医院告诉患者：

请自带大量饮用水，因为医院非常热。

诺福克与诺里奇大学医院（简称 NNUH）更惨：

所有 MRI 扫描仪的冷却系统因高温高湿全部失灵，至少 254 个门诊被取消。

所以，从某种程度上而言：

不是超算脆弱，是英国的整个温控基础设施，都没为这种天气做好准备。

30 多度怎么就能热瘫超算？

Dawn 被热瘫这件事，如果放在更长的时间线上看，一点也不意外。

2022 年 7 月，英国遭遇了当时的史上最热天（40.3 ° C）。

Google 伦敦数据中心的冷却系统「多个冗余系统同时失效」，被迫关机保护硬件，Google Cloud 伦敦区域服务中断超过 18 小时才完全恢复。

△图源：Google Cloud 官网

Oracle 伦敦南区数据中心同天瘫痪，Oracle 的声明用了一个很有意思的词：「非季节性高温」。

2022 到 2026，4 年过去了，类似事件再次上演。

我就想问了，这个问题就这么难，难到不可提前预防吗？

实际上，30 多度搞瘫一台超算，是有点说法在身上的，其中最难突破的瓶颈就是散热。

尤其对欧洲地区来说，设备普遍采用的是自然冷却，这种方式天然受限于室外自然温度。

怎么理解？

所有散热系统，不管多先进，最终都要把热量倒给室外空气，室外空气温度是整条链的终极瓶颈。

这条链路展开后是这样的：

芯片把热量传给散热器，散热器传给冷却液或空气，冷却液传给冷却塔，冷却塔传给大气。

大气是最后一个接盘侠。

所以当大气自己都 37 ° C 了，它就开始接不住了。

具体来说，当室外温度从 20 ° C 飙到 37 ° C，冷却塔和干冷器的散热效率可能骤降 40% 到 50%。

你问咋不开空调？因为压缩机在高温下效率下降、电流升高，容易过热跳闸。

Oracle 2022 年的事故报告原话就是：两台冷却机组在被要求超出设计极限运行时发生了故障。

Dawn 这次的情况，合理推测可能也类似。

它用的 Dell PowerEdge XE9640 服务器配备了直接液冷系统，这是比传统风冷先进得多的散热方案。

冷却液直接贴着芯片表面流过，带走热量的效率远高于吹空气。

但还是那句话，液冷解决的是机架内部的效率。热量被冷却液带走之后，仍要通过冷却分配单元、设施冷水回路、冷却塔，一路传递到室外大气。最后一环，还是受制于室外温度。

而冷却系统一旦停摆，后续还会导致一系列连锁反应。

研究数据显示，冷却系统一旦停机，5 分钟内服务器入口温度就能从 22 ° C 飙升到 35 ° C 以上。

遇到这种情况，芯片会启动自保：

先降频（thermal throttling），主动降低运行速度减少发热，性能暴跌；如果温度继续涨，超过安全阈值，就会强制关机。

运营商这时只有两个选择：

让设备自己断电，可能损坏数据；

主动有序关机，保护硬件但业务停摆。

Google、Oracle、剑桥 Dawn，都选了后者。

AI 越强，越怕热

还有更让人担心的。

随着 AI 数据中心不断「膨胀」，温度对 AI 的影响可能会越来越显著。

前几天在小破站看小 Lin 实地探访华为数据中心，有个对比让人印象深刻：

传统数据中心一个机架的功率密度大约 5 到 10 千瓦，但 AI 训练机架已经到了 30 到 50 千瓦，Nvidia 最新的 GB200 NVL72 机架更是达到了 120 到 132 千瓦（下一代 Rubin 可能到 600 千瓦）。

什么概念？一个 AI 机架 100 千瓦的发热量，相当于在一个电话亭大小的空间里同时开 50 台电暖器。

想象一下冬天用的小太阳，再把它们全部塞进一个机柜里，这就是今天 AI 算力基础设施面对的散热压力。

△图源：B 站 up 主 @小 Lin 说

更麻烦的是，GPU 本身正在变得越来越「热」。

2017 年的 Nvidia V100 大约 300 瓦，2023 年的 H100 跳到 700 瓦，2024 年的 B200 达到 1000 瓦，2025 到 2026 年的 B300 和 AMD MI355X 直接拉到 1400 瓦。

七年时间，单芯片发热翻了 3 到 5 倍。

所以，不管是从数量还是单个芯片来讲，随着 AI 变强，它就越怕热、越需要散热。

至此，我们就能发现两条正在对撞的曲线：

芯片在指数级变热，地球也在加速变热。

事情，开始变得更加棘手了。

Google 早在 2011 年就跑去芬兰建数据中心，Meta 去了瑞典北部，就是为了用寒冷气候做天然散热。

马斯克更是想到了要去太空建 AI 数据中心。

但英国政府今年 1 月刚给 Dawn 砸了 3600 万英镑扩容，还在规划爱丁堡的新国家超算。

这些设施的散热设计，是按上一个时代的英国夏天算的，还是按正在到来的新常态？谁也说不好。

但有一件事是确定的：

用来预测气候变化的超算，被气候变化热停了。

这已经不是一个段子，这是 AI 时代基础设施面临的真实课题。

参考链接：

[ 1 ] https://www.thetimes.com/uk/science/article/cambridge-ai-supercomputer-heatwave-shutdown-ns7rcmkgs

[ 2 ] https://www.datacenterdynamics.com/en/news/data-center-housing-uks-dawn-supercomputer-suffers-heatwave-related-outage-report/

[ 3 ] https://x.com/cashandcarrots/status/2074016783812505762

一键三连「点赞」「转发」「小心心」

欢迎在评论区留下你的想法！

—  完  —

点亮星标

科技前沿进展每日见