37.7°C热晕了，剑桥大学AI超算瘫痪，350个科研项目集体停摆

最近欧洲人疯抢中国空调的消息传得挺热，但大家有没有想过：

这波热浪之下，恐怕最需要空调的，是AI超算本身（doge）。

这事儿，就发生在英国。

这台安放在剑桥大学的超算，来头不小：

它是英国政府3亿英镑国家AI算力规划的核心构成，配备了1024块Intel GPU，带有256台液冷服务器，已支撑起超过350个科研项目。今年1月，又拿到了3600万英镑扩容，预期性能提升6倍。

然后，6月底一波热浪来袭，它，歇了。

更让人苦笑不得的是，这台超算上正在跑的研究里，就包括气候变化模拟。

这……

。

37.7°C，一个国家级超算的"至暗时刻"

话说回来，具体发生了什么？

6月26日，诺福克地区的林伍德镇直接热到了37.7°C，一举打破了1957年和1976年创下的35.6°C纪录。英国气象局都罕见地发布了连续三天的红色极端高温警告。

结果呢？1000多所学校停课，铁路信号因高温失灵，公路路面甚至开始融化。到了6月27日，热浪峰值一到，Dawn超算所在剑桥西区数据中心的冷却系统彻底扛不住了。

△

事后，剑桥大学发言人对外表示：

Dawn遭遇了热天期间的技术问题，冷却能力现已完全恢复，预计访问将于7月6日重新开放

。

具体原因没细说，但结果很清楚：从6月27日到7月6日，Dawn"冷却"了整整一周多。对于一台分秒必争、每天砸钱的超算而言，这一周的停摆实在太可怕了。

损失最大的，也已经浮出水面。

剑桥大学Vendruscolo教授的团队当时正用Dawn做帕金森新药分子筛查。Dawn的机器学习能力可以在几天内筛查数十亿个分子，寻找能与帕金森相关蛋白聚集体结合的化合物。如果用传统方法？半年起步，花费数百万英镑，而且只能覆盖Dawn几小时扫完的一小部分。

这一周停机，意味着这条救命"流水线"直接断了。

还有牛津大学的Lennard Lee，他是英国癌症疫苗AI与超算项目的负责人。他的团队拿到了Dawn 10000个GPU小时的算力，正在用AI加速个性化癌症疫苗的靶点发现。Lee之前说过一句话：

以前需要几年才能做到的发现，现在只需要几周。

虽然事后Lee表示数据没丢，工作也不用重做，但

。

另外，英国南极调查局用Dawn训练的IceNet海冰预测模型暂停了；剑桥博士生Bill McGough用Dawn训练的AI肾癌筛查项目也停了……Dawn上跑着350多个项目，几乎无一幸免。

而制造这一切的黑手，不过是37.7°C。

好，"凶手"抓到了，锅该谁来背呢？转了一圈，好像没人想接。

Dawn的冷却系统由法国Legrand集团旗下的USystems供应。事发后，USystems发了一份声明：

我们的设备在整个事件中完全按照设计规格运行，表现正常

。

翻译过来就是：散热崩了，不赖我们，我们的设备本来就不是按这个温度设计的。

那么，是设计标准太保守，还是气候变化太快？

英国六月的历史极端温度只有35.6°C，Dawn的冷却系统大概率就是按这个量级设计的。37.7°C，超标了。而且这个"超标"来得毫无征兆，因为上一次达到这个纪录，还是在近50年前。

同一周，英国朴次茅斯的Queen Alexandra医院冷却机组故障，宣布紧急事件。手术室停了，心导管室停了，影像科也停了。医院还特别告诉患者：

请自带大量饮用水，因为医院里面非常热。

诺福克与诺里奇大学医院（NNUH）更惨：所有MRI扫描仪的冷却系统因高温高湿全部失灵，至少254个门诊被取消。

所以，某种程度上说：

。

30多度怎么就热瘫了超算？

Dawn被热瘫这事儿，放在更长时间线来看，并不意外。

2022年7月，英国遭遇了当时的史上最热天（40.3°C）。Google伦敦数据中心的冷却系统"多个冗余系统同时失效"，只得被迫关机保护硬件，Google Cloud伦敦区域服务中断了超过18小时才恢复。

△

Oracle伦敦南区数据中心当天同样瘫痪，Oracle的声明里用了一个很有意思的词："非季节性高温"。

这事儿真就难到不可预防吗？

实际上，30多度搞瘫一台超算，还真有点说法，其中最难突破的瓶颈就是散热。

尤其在欧洲地区，设备多采用自然冷却方式，这天然受限于室外温度。

怎么理解呢？

这条链条展开是这样的：芯片把热量传给散热器，散热器传给冷却液或空气，冷却液传给冷却塔，冷却塔再传给大气。大气是最后一个"接盘侠"。所以当大气自己都37°C了，它自然就接不住了。

具体来说，当室外温度从20°C飙到37°C，冷却塔和干冷器的散热效率可能骤降40%到50%。

有人可能会问，为啥不开空调？因为压缩机在高温下效率下降、电流升高，很容易过热跳闸。Oracle 2022年的事故报告原话就是：

。

Dawn这次的情况，合理推测可能也类似。

它用的是Dell PowerEdge XE9640服务器，配备直接液冷系统，比传统风冷先进得多。冷却液直接贴着芯片表面流过，带走热量的效率远超吹空气。

热量被冷却液带走后，还是要通过冷却分配单元、设施冷水回路、冷却塔，一路传递到室外大气。最后一环，始终受制于室外温度。

研究数据显示，冷却系统停机后，5分钟内服务器入口温度就能从22°C飙升到35°C以上。遇到这种情况，芯片会启动自保：先降频（thermal throttling），主动降低运行速度来减少发热，性能随之暴跌；如果温度继续上涨超过安全阈值，就会强制关机。

运营商这时只有两个选择：让设备自己断电，可能损坏数据；或者主动有序关机，保护硬件但业务停摆。

Google、Oracle、剑桥Dawn，都选了后者。

AI越强，越怕热

还有更值得担心的。

之前看到有人探访数据中心时的一个对比，让人印象深刻：传统数据中心一个机架的功率密度大约5到10千瓦，但AI训练机架已经到了30到50千瓦，Nvidia最新的GB200 NVL72机架更是达到了120到132千瓦（下一代Rubin可能到600千瓦）。

什么概念？一个AI机架100千瓦的发热量，相当于在一个电话亭大小的空间里同时开50台电暖器。想象一下冬天用的"小太阳"，再把它全部塞进一个机柜里，这就是今天AI算力基础设施要面对的压力。

△

2017年的Nvidia V100大约300瓦，2023年的H100跳到700瓦，2024年的B200达到1000瓦，2025到2026年的B300和AMD MI355X直接拉到1400瓦。七年时间，单芯片发热翻了3到5倍。

至此，两条正在"对撞"的曲线浮现了出来：

事情，变得更棘手了。

Google早在2011年就跑到芬兰建数据中心，Meta去了瑞典北部，都是想用寒冷气候做天然散热。马斯克更是直接想到了去太空建AI数据中心。

但英国政府今年1月刚给Dawn砸了3600万英镑扩容，还在规划爱丁堡的新国家超算。这些设施的散热设计，是按上一个时代的英国夏天算的，还是按正在到来的"新常态"来设计的？谁也说不准。

但有一件事是确定的：

用来预测气候变化的超算，被气候变化给热停了。

这已经不再是一个段子，这是AI时代基础设施必须面对的真实课题。