代码摘要、生成、翻译、修复全覆盖... WaveCoder开启代码智能新篇章

大语言模型与编程的结合，正在悄然改变开发者的工作方式。过去一年里，代码生成模型吸引了大量关注——它们不仅能自动补全代码、修复错误，还能进行优化，效率确实令人印象深刻。但问题也随之而来：在处理多样化的编程任务时，现有模型往往对指令理解不够精准，生成的代码质量也参差不齐。微软亚洲研究院的研究团队最近提出的 Wa veCoder，正是为了破解这一困局而来。

Wa veCoder 的核心思路是通过指令优化来增强代码大语言模型的广泛性与多功能性。它基于一个名为 CodeSeaXDataset 的数据集进行训练，该数据集包含19,915条经过严格筛选的指令实例，覆盖代码摘要、生成、翻译、修复四个核心任务。这个数据集的独特之处在于，它并非随意拼凑，而是通过一套专门设计的合成框架，从开源项目中精选出高质量的编程问题与解决方案。多种编程语言、多种任务类型，使得模型能够深入理解复杂多任务场景下的用户指令。

表1：CodeSeaXDataset 中各种代码相关任务的详细细节

高质量与多样性，是机器学习模型性能提升的两大基石。CodeSeaXDataset 的丰富内容让 Wa veCoder 能够适应不同的编程情境，无论是生成一段新代码，还是理解并解释已有代码，它都能给出更准确、更高效的回应。

图1：Wa veCoder 的整体流程

创新型指令数据生成策略

为了让数据既多样又可靠，Wa veCoder 采用了两阶段生成策略。第一阶段，对海量代码数据做初步筛选，剔除低质量样本，保证基础质量。第二阶段，利用 KCenterGreedy 聚类方法进一步优化数据集结构——这种方法能保留代码的多样性，确保覆盖各种应用场景，同时避免冗余。

在此基础上，Wa veCoder 还引入了一个基于大语言模型的生成器-判别器框架。简单来说，原始代码片段先被送入生成器，产生新的指令数据；然后判别器对这些数据进行质量打分，只有符合高标准的才能留下来。生成器与判别器相互博弈、不断循环，使得整个数据生成过程能从正确与错误的样本中持续学习，从而提升整体质量。

图2：Wa veCoder 中基于 LLMs 的生成器-鉴别器框架

正是这种创新的数据策略，让 Wa veCoder 在多任务学习中展现出稳定而可靠的性能——无论是代码摘要、生成、翻译还是修复，它都能交出令人满意的答卷。

Wa veCoder在基准测试中表现优异

在一系列业界公认的基准测试中，Wa veCoder 的成绩单相当亮眼。HumanEval、MBPP、HumanEvalPack 这些测试覆盖了代码生成、理解、修复等多个维度，而 Wa veCoder 的两个高级版本——Wa veCoder-Pro-6.7B 和 Wa veCoder-Ultra-6.7B——在多个任务上均取得了显著成果。它们不仅在传统的代码生成上表现出色，在代码摘要和修复这类更复杂的挑战中也展现了极高的准确性与效率。

表2：Wa veCoder 在代码生成基准 HumanEval 和 MBPP 上的表现

表3：Wa veCoder 在代码修复基准 HumanEvalFix（左）和代码总结任务 HumanEvalExplain（右）上的表现

更值得注意的是，在数据科学领域常用的代码评测基准 DS-1000 中，Wa veCoder 与一众超级大模型同台竞技，依然能占据一席之地。这说明，开源代码在数据合成中的潜力远未被充分挖掘——而 Wa veCoder 恰恰证明，只要用对方法，小模型也能打出重拳。

表4：DS-1000 Arena Leaderboard

高可靠性和有效性，开启代码智能新篇章

为了确保结果的可靠性与评估的公正性，研究团队还专门做了数据泄露分析。他们全面审查了数据集，识别并排除了可能影响评估结果的潜在问题。这样一来，结论的严谨性和有效性就有了扎实的保障。

图3：数据泄露分析

展望未来，Wa veCoder 计划利用更广泛的数据集进一步扩展能力——这些数据集将涵盖更多的编程语言、框架和库，以及更多样化的编程场景，从而更好地适应不同开发者的需求。可以说，Wa veCoder 解锁了编程领域的新潜能，也开启了代码智能的新篇章。通过更智能的辅助，开发者不仅能提升效率，还能将更多精力投入到创新与复杂系统的构建中。微软亚洲研究院的研究员们正在这条路上持续探索，为编程语言处理技术带来更多可能性。