GPUStack：一个开源 GPU 集群管理器，用于运行大型语言模型 (LLM)。

在AI大模型遍地开花的今天，很多企业和团队都面临着同一个尴尬：想自己部署一套私有的LLM服务，却发现光是搭集群、配环境、搞推理引擎，就足够让人头皮发麻。Kubernetes、GPU驱动、推理框架……一套组合拳下来，技术栈的复杂度已经远超“跑个模型”本身。而像LMStudio或LocalAI这种本地工具，虽然轻便，但只能管一台机器，没法形成集群合力。

GPUStack就是为了解决这个痛点而生的——一个开源的GPU集群管理器，专门用来运行大型语言模型。它让你能用任意品牌的GPU（从Apple MacBook到Windows PC，再到Linux服务器）组成统一集群；管理员可以从Hugging Face等仓库一键部署模型；而开发者则可以像调用OpenAI或Azure的API一样，轻松地访问这些私有模型。换句话说，它把“自建LLM即服务”这件事，从工程噩梦变成了傻瓜式操作。

为什么用GPUStack？

过去，想在GPU集群上托管LLM，组织需要自己拼凑Kubernetes、GPU调度、推理引擎、用户管理、计量计费、API网关……每一个环节都是坑。GPUStack把这些全部打包成一个完整的平台——管理员只管部署模型，开发者只管调API，集群管理、GPU优化、推理引擎选择、使用计量、用户权限、仪表盘界面，统统由它搞定。下图展示的正是这个闭环：管理员从Hugging Face推模型到GPUStack，开发者通过标准的OpenAI兼容API直接使用。

特性

GPU集群搭建与资源整合

GPUStack能整合集群内所有GPU资源，且不限厂商——Nvidia、AMD、Apple、Intel、Qualcomm……理论上都支持。兼容的设备也很广：MacOS、Windows、Linux的笔记本、台式机、工作站、服务器统统可以加入集群。最初的版本先支持了Nvidia显卡的Windows/Linux机器以及Apple Mac，后续会持续扩展。

模型部署与推理

在模型推理方面，GPUStack会为每个模型自动选择最适合的推理引擎。首推的是LLaMA.cpp，因此它天然支持Hugging Face上的GGUF格式模型，以及ollama库中列出的所有模型。如果你想跑其他模型，先转成GGUF格式再上传到Hugging Face或Ollama库即可。更高级的推理引擎（比如vLLM）也已经在路线图上了，未来会支持。

值得一提的是，GPUStack会自动调度模型到拥有合适资源的机器上运行，无需人工干预。如果你想知道某个模型具体需要多少资源，可以用它的GGUF Parser项目（https://github.com/gpustack/gguf-parser-go）提前评估。虽然推荐用GPU加速推理，但CPU推理和GPU+CPU混合推理也支持，这在边缘或资源受限的场景下非常实用。

与您的应用程序轻松集成

GPUStack提供了与OpenAI兼容的API，配合一个LLM游乐场和API密钥管理。开发者可以在游乐场里试验和调优模型，然后无缝集成到自己的AI应用中。同时，它还能输出模型使用指标，帮助你了解每个LLM的调用情况，从而有效管理GPU资源消耗。

GPU和LLMs的可观测性指标

监控方面，GPUStack提供了全面的指标，覆盖性能、利用率和状态。对GPU来说，管理员可以实时查看资源使用率和系统状态，并据此进行扩缩容或优化操作；GPUStack自身也会利用这些指标优化模型调度算法。对LLM来说，开发者可以获取token吞吐量、token用量、API请求吞吐量等数据，用来评估模型性能、优化应用。未来版本中，GPUStack还计划基于这些推理性能指标实现自动扩缩容。

认证和访问控制

企业级功能一个不少：认证和基于角色的访问控制（RBAC）。平台用户分为管理员和常规用户，只有管理员才能部署和管理LLM，只有被授权的开发者才能使用它们。权限清晰，安全可控。