北大与DeepSeek联合开源大模型

要说今年大模型推理领域最头疼的问题，恐怕非“效率瓶颈”莫属。就在6月28日，北京大学与深度求索联手放出一个大招——正式推出并开源了大模型推理加速框架DSpark，专门解决大语言模型在高并发推理场景下，因频繁执行前向计算导致的响应延迟与算力浪费难题。

在标准的大模型自回归生成流程里，每输出一个词元，系统都得砸上全部的算力资源，这直接拖慢了对话的实时响应速度。虽然现在“推测解码”是主流提速手段，但传统方案短板明显：简单模型串联生成耗时太长，而并行模型在处理长序列文本时，候选接受率容易下滑，导致大量算力白白浪费。

针对这些痛点，DSpark祭出了双重优化机制。在候选生成阶段，它采用半自回归架构，通过并行主干网络一次性输出高质量的基础特征，再辅以轻量化模块优化文本逻辑。只需两层Transformer结构，就能达到优于五层并行模型的表现，在速度与质量之间找到了一个巧妙的平衡点。在验证调度层面，引入置信度调度验证机制，由硬件感知前缀调度器实时判断算力负载，优先处理可靠性高的文本片段，从而最大程度减少无效计算。

经过通义千问3、Gemma4等主流模型在代码编写、数学推理及日常对话等多场景下的严格测试，DSpark的表现相当亮眼。相比Eagle3和DFlash这两类行业主流基线模型，它在单轮有效生成长度上具备明显优势，尤其是在长序列生成任务中，有效缓解了候选有效率衰减的难题。

在工程化落地层面，研发团队进行了深度系统级优化，包括采用序列打包降低内存消耗、设计异步调度模式消除GPU流水线卡顿，并确保对主流CUDA硬件生态的兼容。目前，DSpark已率先落地于DeepSeek-V4-Flash与DeepSeek-V4-Pro预览版服务引擎。实测数据显示，无论响应速度标准如何，系统整体吞吐量均实现了跨越式增长。

值得一提的是，深度求索已经全面开源了DSpark、DFlash及Eagle3的全套训练代码、模型权重及评估工具。这一举措将大幅降低行业高性能推理服务的部署成本，为大模型的低成本普及提供了一套切实可行的技术范式。