Moonshot AI携手清华大学发布PrfaaS架构，破解大模型算力瓶颈

大语言模型推理的“堵点”，被一项新架构打通了

大语言模型（LLM）的推理性能瓶颈，正在被一项来自产业界与学术界的前沿合作打破。最近，

与的研究团队联手，提出了一种名为的新型架构。这项研究瞄准了一个核心痛点：如何优化数据中心内宝贵的算力资源分配，以突破硬件限制，从而显著提升大模型服务的推理效率。

技术突破：预填充与解码的“手术刀式”分离

要理解这项创新的价值，得先拆解大模型推理的两个关键阶段。它们对硬件资源的需求，可谓天差地别：

• 预填充阶段（Prefill）：
  这是个典型的“计算猛兽”。它需要处理整个输入提示词，并生成后续解码所必需的键值缓存（KVCache），对GPU的计算能力要求极高。

• 解码阶段（Decode）：
  相比之下，它更像一个“记忆大师”。此阶段逐字生成输出，性能瓶颈主要在于内存带宽，对数据读取的速度更为敏感。

问题就出在这里。在传统的服务架构里，这两个性格迥异的阶段常常被“强行捆绑”在同一个数据中心，甚至同一台服务器内处理。这就好比让短跑运动员和举重运动员在同一个狭小场地同时训练，结果只能是互相干扰，资源分配严重失衡，最终导致服务拥堵和延迟。

核心创新：跨地域的高效协同

那么，PrfaaS架构是如何破局的？其核心思路可以用一个词概括：

。

它做了一次大胆的“外科手术”，将高计算密集的预填充任务，从本地集群中彻底剥离出来，卸载到专门配置的

上去执行。待任务完成后，系统会利用通用的以太网技术，将生成的KVCache远程、高效地传输回用户本地的。

这一设计，本质上打破了物理空间的束缚，让预填充和解码这两个阶段得以在不同的数据中心同步、流水线式地进行。为了保证跨地域传输的稳定与高效，研究团队引入了

。这套机制能够根据实时流量的波动，灵活地调配资源，再配合精确的路由策略，确保即便是处理长文本请求，也不会因为资源不均而在传输环节产生额外延迟。

实测表现：吞吐量与延迟的双重优化

理论很美好，实际效果如何？实验数据给出了有力的证明，PrfaaS架构在关键指标上实现了显著提升：

1. 服务吞吐量提升了54%
   。这意味着单位时间内，系统能够处理更多的用户请求，服务能力大幅增强。

2. 响应延迟显著降低
   。用户最直观的感受就是，首字生成的速度更快了，交互体验更加流畅。

3. 实现了资源利用率的最大化
   。通过将计算、网络和存储子系统分离，传统架构中因资源竞争导致的拥堵顽疾得到了有效规避。

可以说，Moonshot AI与清华大学的这次合作，不仅仅是为大规模AI推理提供了一套新颖的工程解决方案。它更重要的价值在于，为未来构建跨地域、协同化的算力网络奠定了坚实的技术基础。这种“预填充即服务”的模式，或许正标志着大模型服务从实验室走向工业化、规模化应用的一个重要分水岭。