超越GPT-4o！70B Llama3改进后超厉害！

一个70B参数的模型，处理1000个token（大约相当于4000个字符），经过一番改造和引入加速算法后，运算速度比原版Llama3快了整整十三倍——这还没完，性能上居然还超过了GPT-4o。听起来有点不可思议，但这就是最近Cursor团队在Anysphere搞出来的成果。

要知道，即便是以速度见长的Groq，跑70B的Llama3，每秒也只能处理300个token左右。而Cursor团队调校过的这个版本，几乎能做到代码文件的瞬时编辑。有人不禁想象：要是把Cursor这个优化版Llama3放到Groq上跑，每秒岂不是能飙到一万多个token？这背后用的是一个叫“Fast Apply”的算法，能在极短时间内完成代码的修改与应用。

有意思的是，虽然最终模型表现是在对代码部分修改后评测的，但在实际工作中，他们并没有让它去做局部改动，而是直接对整个文件进行整体改写。为什么？因为研究团队在预测试时发现，除了Claude-3-Opus之外，大部分模型在真正的局部修正任务里表现都不太行。原因有三：第一，局部改写会产生更多token，需要更多正向传输来锁定正确答案；第二，训练数据多是完整代码块，模型对局部改动其实很陌生；第三，大模型在数学操作上并不牢靠，当输出结果不一致时，很难保证行号计算正确。

确定了全局覆盖策略后，Cursor团队用与任务相关的数据对Llama3进行了微调。数据来源包括真实编辑数据和人工生成数据，按1:4的比例混合。人工数据是用GPT-4先生成代码编辑提案，再把这些提案“应用”到原代码里。除此之外，他们还对小文件、重复文件以及那些没变化的样本做了降采样处理。

评估模型时，研究人员把测试集分成450个样本（每个样本最多400行），并用Claude-3-Opus来打分。最终改进后的70B Llama3，性能已经接近专门为diff任务优化的Claude-3-Opus，并且明显优于GPT-4-Turbo和GPT-4o。这个结果说明，针对特定任务做定向优化，即使是相对较小的开源模型，也能爆发出惊人的潜力。