一款小而强大的编程助手：零一万物正式开源 Yi-Coder 系列模型 | FM 01.AI

在AI赛道里，代码生成与编辑工具一直是开发者们最关注的方向之一。毕竟，谁不想有个靠谱的编程助手呢？

2024年9月5日，零一万物开源了Yi-Coder系列模型。作为Yi家族中专门负责代码的“编程小能手”，它的表现有些出乎意料。这是继今年5月开源Yi-1.5系列后，零一万物在开源领域的又一重磅动作。

模型Demo的创意，借鉴自https://github.com/nutlope/llamacoder的体育宝贝Logo。不过，真正的实力还得看内部。

模型简介

Yi-Coder系列模型专为编码任务而生，提供1.5B和9B两种参数版本。特别值得一提的是，Yi-Coder-9B在10B参数以下的模型里表现相当亮眼，不仅超越了CodeQwen1.5 7B和CodeGeex4 9B，甚至能跟DeepSeek-Coder 33B这样的大家伙掰一掰手腕。

模型特点

：看似小巧，但Yi-Coder在代码生成、理解、调试和补全等各个任务上的表现都十分出色。10B以下的大小让它在端侧部署和使用上也非常友好。

：一句话总结，它能处理长达128K tokens的上下文。这意味着什么？对于复杂项目级代码的理解和生成，它能够有效捕捉那些藏在代码深处的长期依赖关系。

：支持52种主要编程语言，无论是代码生成还是跨文件代码补全，它都游刃有余。

模型成绩

LiveCodeBench是一个非常全面的评测平台，它从LeetCode、AtCoder、CodeForces等竞赛平台实时收集新问题，构建了一个动态的基准测试库。

为了彻底消除数据污染的隐患，由于Yi-Coder的训练数据截止于2023年底，我们专门选取了2024年1月至9月的题目进行测试。结果显示：Yi-Coder-9B-Chat的通过率达到了23.4%——在10B以下参数量的模型中，它是唯一一个通过率超过20%的。这一成绩甚至超过了DeepSeek-Coder-33B-Instruct的22.3%、CodeGeex4-All-9B的17.8%、CodeLLama-34B-Instruct的13.3%和CodeQwen1.5-7B-Chat的12%。

除了这些高难度的竞赛级题目，我们还采用Zero-shot HumanEval、3-shot MBPP和CRUXEval-O等业内常用基准测试来评估其基础代码生成和推理能力。

结果同样漂亮：Yi-Coder-9B-Chat在HumanEval和MBPP上的通过率分别达到了85.4%和73.8%，超出其他同类模型。特别值得一提的是，它在CRUXEval-O上的准确率，在开源Coder模型中首次突破了50%。

CodeEditorBench涵盖代码调试、翻译、优化和需求转换四个关键领域。测试结果显示，Yi-Coder-9B-Chat在开源代码大语言模型中拔得头筹，无论Primary还是Plus子集，都稳定优于DeepSeek-Coder-33B-Instruct和CodeQwen1.5-7B-Chat。

至于代码补全，Yi-Coder同样不遑多让。与常规的代码生成不同，跨文件补全要求模型能理解并访问多个文件中的依赖关系。这次评估采用CrossCodeEval基准，在检索和不检索上下文两种场景下进行。

结果也相当明显：有检索和无检索两种情况下，Yi-Coder的表现都优于其他同等规模模型。这验证了，经过较长上下文长度的软件仓库级代码语料训练，Yi-Coder能够有效捕捉长期依赖关系，从而提升性能。

为了更直观地测试长序列能力，我们模仿文本领域流行的长序列评测，构建了一个128K长序列的“Needle in the code”评估任务。任务逻辑并不复杂：在一个超长的代码库中随机插入一个简单的自定义函数，然后看模型能否在代码库末尾准确重复这个函数。这本质上是在检测模型从长文本中提取关键信息的能力。

结果全绿，这意味着Yi-Coder-9B在128K长度范围内，完美地完成了任务。

DeepSeek Coder之前的研究发现，强大的编码能力可以反过来增强数学推理能力。Yi-Coder在7个数学数据集上评估了代码辅助(PAL)解题能力：每个数据集里，模型通过生成Python代码并执行代码来得出最终答案。

七个任务的平均准确率结果表明，Yi-Coder 9B的准确率达到70.3%，超过了DeepSeek-Coder 33B的65.8%。

模型使用

如果要立刻上手把玩一番，可以参阅Yi-Coder的README文档，那里有具体下载与使用步骤。

目前，Yi开源系列模型家族已经包含Yi、Yi-1.5、Yi-VL、Yi-Coder等多款模型。希望大家能积极去探索大语言模型的更多可能，把Yi系列模型集成到自己的项目中，亲手试试它到底有多能打。

共勉。

END