Meta 发布的 Llama 3.1 现在可在 Google Cloud 上使用

今天要聊的核心消息，是

，其中包含备受瞩目的 405B——Meta 至今为止规模最大、用途最广的模型。这次更新，算是一个明确的信号：Google Cloud 在构建开放、灵活的 AI 生态这件事上，没有停留在口号上，而是实实在在地在铺路。

Vertex AI 本身就是个模型百货商店，从第一方、开源到第三方模型，一应俱全。重点在于，其中许多模型——包括这批新的 Llama——已经可以通过全托管的“模型即服务”（MaaS）来调用。这意味着什么？你不需要自己搭服务器、搞运维，只需要选个合适的模型，走 API 就能用，定制、部署全在平台上搞定。说白了，就是把最复杂的基础设施那一层，替你包了。

Meta 这次的 Llama 3.1，给开放权重模型树了一个新标杆。严格来说，这算得上一次范式转变——它的性能和适用面，已经可以和很多闭源模型正面交锋。这次发布的产品线也很清晰：

这是目前公开可用的、最大的基础模型。它的意义不在于“大”，而在于它打开了新的大门：比如生成合成数据、支撑复杂的推理任务、以及只需极少微调就能直接处理推理场景——这听起来有点抽象，但想象一下，你没那么多训练数据，又想跑一个高难度的逻辑推理任务，这个模型可能就是那个突破口。

这两个新版本属于实用型选手。它们在理解语言细微差别、把握上下文、以及翻译和对话生成这类任务上，比前代有明显提升。如果你手头有中等规模的任务，这两个模型往往更务实、成本也更可控。

上手体验也很简单：以 MaaS 形式提供的 405B 预览版，点几下就能用，不用操心设置和基础设施。正式版会在未来几周内放出。8B 和 70B 的 MaaS 版也会在这个时间窗口跟进。当然，如果你习惯自己管理，这三种模型现在就能在 Vertex AI Model Garden 里自助部署，灵活性给够了。

这三款模型都提供了预训练和指令调优两种版本，支持 128K 个词元的上下文长度——比前几代能更深入地吃透长文本和复杂文本。另外还支持八种语言，覆盖面和适用性都拉宽了。

Vertex AI 本身就是一个端到端的平台：你可以在上面实验、自定义、部署、监控这些基础模型。而 Llama 3.1 的加入，让它原有的 150 多个企业级精选模型队伍里，又多了几个重量级选手。选择多了，灵活性也就上来了——你可以根据自己手头的预算和需求，去选那个最合适的模型。

Vertex AI 上的 Llama 3.1 模型卡片

具体来说，在 Vertex AI 上使用 Llama 3.1，能做几件实在事：

不需要先搭一套复杂流程，直接通过 API 调用和横向评估，就能摸清模型的能力边界。这个环境很直观，试错成本很低。

8B 和 70B 的模型你现在就能在自己的数据上做微调。405B 的微调功能稍后也会跟上。这意味着你可以把通用模型变成你自己业务的专属助手。

利用 Vertex AI 内置的接地和 RAG 选项，能让模型的输出更可靠、更贴近事实。比如，你可以把模型连到企业系统里，用 Vertex AI Search 检索内部数据，再让 Llama 3 做生成——这样出来的结果，可信度会高很多。

用上 Vertex AI 的完整工具链，包括 LangChain，你可以编排由 Llama 3.1 驱动的智能袋里。如果用到 Genkit，也有对应的 Vertex AI 插件帮你做集成。

支持灵活的自动扩缩，即便是 405B 这样的大模型，部署和扩容的复杂性也被降到了最低。背后当然用的是专为 AI 工作负载打造的基础设施。

除了 Meta 自带的 Llama Guard，Google Cloud 在内置安全、隐私和合规上的措施也都保留着，所以部署起来心里有底。

随着 AI 模型迭代越来越快，企业的选择空间也在变大。这次与 Meta 的合作，其实反映了两个公司的共同判断：AI 生态要真正好用，就得是开放且易于接入的。我们也会继续和 Meta 以及其他伙伴紧密合作，让前沿能力始终触手可及。