Databricks 开源 DBRX：一款功能强大的新型企业级语言模型

大模型领域又迎来一位重磅选手——Databricks 正式发布了 DBRX。这是一款性能相当亮眼的大语言模型，在多项基准测试中直接把现有的开源模型甩在了身后。其核心目标很明确：给企业提供高质量、可自定义的 AI 工具，让生成式 AI 真正落地到实际业务中。

DBRX 最值得说道的，首先是它的硬实力。在语言理解、编程、数学和逻辑推理这些关键任务上，它的表现全面优于 LLaMA2-70B、Mixtral 和 Grok-1 等模型。根据 Databricks 自己推出的开源基准测试 Gauntlet，DBRX 在超过 30 项测试中均位居前列——这信号很明显：开源模型的质量正在快速逼近甚至超越闭源选手。

具体来看，DBRX 在语言理解（MMLU）、编程（HumanEval）和数学（GSM8K）上的得分都优于现有的开源模型。还有一个值得关注的点：在大多数测试中，DBRX 甚至超过了 GPT-3.5。这对企业用户来说意义不小——越来越多公司正在用开源模型替代专有模型，图的就是更高的效率和对模型的完全掌控。Databricks 在其超过 12,000 个客户中已经观察到这一趋势：不少企业通过定制开源模型来满足特定需求，从而在质量和速度上获得明显提升。

另一个关键特性是它的混合专家（MoE）架构，这套设计基于 MegaBlocks 的研究与开源项目构建。简单来说，MoE 架构让模型在保持较小活跃参数（360 亿个）的情况下，实现更快的词元（Token）生成速度，而模型总参数量达到 1320 亿个。这么做的核心价值在于：在速度与性能之间找到了一个巧妙的平衡，同时也能用更快的速度训练更大的模型。

DBRX Instruct 版本的表现，足以和 Gemini 1.0 Pro 以及 Mistral Medium 正面较量。在 Inflection Corrected MTBench、MMLU、HellaSwag 和 HumanEval 等测试中，DBRX Instruct 的得分高于 Gemini 1.0 Pro，当然 Gemini 1.0 Pro 在 GSM8k 上略胜一筹。整体而言，两者处于同一梯队。

Databricks 使用高达 32K 词元的上下文窗口来训练 DBRX，并且整个训练过程完全在自家平台上完成：用 Unity Catalog 进行数据治理，用 Apache Spark™ 和 Lilac AI 处理与清洗数据，再用 Mosaic AI 训练服务做大规模模型训练和微调。这一套工具链本身就代表了当前企业级 AI 开发的最佳实践。

在设计上，DBRX 强调易定制性，让企业能快速提升 AI 应用的质量。从今天开始，企业就可以在 Databricks 平台上直接使用 DBRX，在 RAG 系统中充分利用其长上下文能力，也可以基于私有数据构建自定义模型。模型通过 Databricks 的 GitHub 存储库和 Hugging Face 平台（DBRX Base、DBRX Instruct）开放访问，你还可以在 Hugging Face Space 上直接试用 DBRX Instruct 模型。

基础模型（DBRX Base）和微调模型（DBRX Instruct）的权重均在 Hugging Face 上以开放许可证发布。同时，Databricks 客户可以通过 API 调用 DBRX，也可以利用 Databricks 提供的工具，从头预训练自己的 DBRX 级模型，或者在已有检查点之上继续微调——这给了企业极大的灵活性。