80%代码由Claude合并，Anthropic内部人员点破Agent真相：「Close the Loop」

最近，Anthropic团队研究产品经理Theodora（Theo）Chu的一段演讲视频，在圈子里引起了不少讨论。 Theo提到，现在越来越多的开发者已经不光是“听说过Claude”，而是实实在在感受到了日常效率的提升。有人说效率翻倍，也有人觉得提升了10倍。更关键的是，Claude已经开始深度嵌入Anthropic内部的工程流程——**Anthropic内部超过80%的代码由Claude合并。**  这意味着，模型的角色正在发生变化。 它不再只是停留在“回答问题”的阶段，而是进入了一个可以反馈、验证、修正的持续任务环境。**核心思路是：Close the Loop（闭合循环），给模型一种验证自身输出结果的方式。** 这场分享的核心，其实是想告诉开发者：**你应该如何适应这个新世界，又应该如何面向未来构建产品，而不是只为过去构建产品。** 为此，Theo详细拆解了如何构建能够自我改进的Agent——**真正的配置，是让Claude在循环、计划模式和动态工作流中持续运行。** 网友rari@0xwhrrari的评价是，“这要比大多数300美元的Agent课程都要好。” 那么，接下来，我们就来详细梳理一下这场演讲的核心内容。 ## 一年之内，模型失败率被大幅压低 Theo用编程评估基准SWE-bench Verified举了个例子。它由一系列GitHub issue组成，模型需要理解问题、修改代码，并通过测试来证明自己真正解决了任务——这是Anthropic内部用来观察Claude编程能力提升的重要评测： 一年前的Sonnet 3.7得分仅为60%左右，而到了Opus 4.8，得分已经达到了88%。  这意味着，**一年前的模型在这些任务上的失败次数，大约是现在的3倍。** 这也是演讲中最值得注意的要点：**模型能力提升，并不只是“多做对几道题”，而是失败率正在快速下降。** 失败率下降之后，模型才有可能承担更长、更复杂、更接近真实工作的任务。 更不可思议的是，在最新的Mythos和Fable系列模型中，该基准测试实际上已经出现接近饱和的迹象。换句话说，一些过去足够难的测试，今天可能已经不再能有效区分模型能力。 这对开发者来说是一个重要信号：**如果你还在用12个月前的任务测试今天的模型，就很容易低估模型真正的能力边界。** 而新模型这种智能的增长，具体落在了以下三个核心领域： ### 一是先规划，再行动 Theo展示了同一个任务在两个不同模型上的表现：让模型一次性重建Claude.ai网站。 结果表明，旧模型的典型做法是，上来就开始写大量代码、调用大量工具，几乎没有充分规划。结果是，界面看起来似乎合理，但实际运行并不完整，功能也不能真正闭环。 “有点像我装宜家家具时的样子：一上来就动手，根本不看说明书，先开始拼，拼着拼着发现做错了，然后才意识到自己应该回去看说明书。” 而以Opus 4.8为代表的新模型则表现出了自适应思考（Adaptive thinking）的能力。它们会先在内部深思熟虑具体的规范，在预先规划的过程中及时捕捉错误（你甚至会在逻辑推理中看到它们输出“实际上……”或“算了，还是……”这样的自我修正词）。 这种先规划后行动的方式，让模型在第一次实际执行时就能高效落地，大幅减少了不必要的工具调用与代码行数。 因此，Theo给开发者的建议是：**要允许模型先思考。**  产品体验也应该为这种思考留下空间：比如使用自适应思考，让模型自己判断什么时候需要思考、需要思考多久。简单问题不必让模型大动干戈，但复杂任务应该给它足够的规划空间。 ### 二是错误恢复和自我纠正 过去很多人做Agent，重点放在“让模型能调用更多工具”。但Theo强调：**工具调用本身还不够，模型必须知道自己什么时候做错了。** 旧模型有一个常见问题是doom looping：模型接到任务之后，如果失败了，你告诉它：“嘿，我觉得你应该换一种方式做”。或者，环境给了它某种反馈，提示它应该做另一件事。它会说：“好的，我再试一次。” 但当它再次尝试时，往往又会回到之前同样的解法，并不会真正改变做法。 新模型在这方面进步明显。它能够读取反馈、理解失败原因，然后尝试不同路径。这样一来，模型不再只是被动执行命令，而是开始具备某种错误恢复能力。 这对Agent产品尤其关键。因为只要任务足够长，模型就一定会遇到错误：代码跑不通、页面点击失败、测试没有通过、用户反馈不满意、环境返回异常结果。真正有价值的Agent，不是永远不犯错，而是犯错之后能不能恢复。 因此，Theo认为，**开发者需要重新设计模型所处的环境。环境要能给模型反馈，让模型知道自己哪里做错了。**  “这也意味着，模型不会因为doom looping而浪费token，而是可以用更少的token完成任务。” 比如，如果你正在做一个应用生成Agent，就应该给它访问前端界面的能力，让它可以自己点击、自己测试、自己判断按钮是否可用、页面是否正常。 模型只有拿到这些验证信号，才有可能形成：执行 → 验证 → 修正 → 再执行。 而这一点，也正是前面网友rari@0xwhrrari认为很重要的一点：**close the agent loop（闭环智能体循环）**，“Loop设计，让模型能够验证自身的输出结果。” ### 三是模型越来越擅长在更长任务周期上运行 旧模型在长任务中经常会陷入“跟丢主线”（Losing the plots）的窘境，用户给它一个长任务，它做着做着就忘了最初目标，或在执行到一半时遗忘最初的上下文或核心指令。 而现在，模型在长程任务的上下文连贯性上有了显著突破，能够稳定地将注意力维持在100万个Token甚至更高的级别。这意味着开发者不再需要把上下文窗口切得那么碎，而是可以直接将整个代码库递给模型。  未来更合理的方式，**是把更完整的任务交给模型。** 比如，给它整个代码库，而不是只给它某个文件；给它完整产品需求，而不是只给一个孤立函数；让它跑完整流程，而不是只完成一个局部步骤。 当规划能力、错误恢复能力和长上下文能力叠加到一起，Agent的形态就会发生变化。 它可以先规划，再执行；执行之后，通过工具或人类反馈验证结果；如果发现问题，就调整计划，继续执行。这个循环持续进行，直到最终完成任务。 ## 开发者该如何为未来进行构建？ 随着模型变得越来越智能，用户基本上可以让它运行更长时间，而它完成任务的效率和效果都会比过去更好。 那么，从战术上讲，用户现在到底应该如何为这个“未来”构建产品？也就是说，如何为正在变得越来越强的模型构建产品？ Theo认为，开发者在产品与工程层面需要全面升级自己的研发战术： **一是主动保持野心，动态刷新评估基准（Evals）** 首先，要更大胆地尝试、允许Claude处理更多事情，不要总是测试那些你觉得Claude 12个月前就能完成的任务，而应该开始思考那些Claude今天还做不到的任务，并持续关注这些任务。 另外，在模型快速进步之后，开发者最容易遇到的一个误判是：觉得新模型没有明显提升。其实，**背后原因可能不在模型，而在Evals。** Theo提到，有些客户在新模型发布后会说：“我的Evals只提升了1%，所以这个模型好像没强多少。”但真正用起来之后，他们又会发现，新模型在某些能力上提升非常明显，只是原来的Evals根本没有测到。 这说明，**Evals也会过时。** AI时代，Evals有点像单元测试，它可以帮助开发者判断模型是否真正具备某种能力，也可以帮助产品团队追踪模型变化对用户体验的影响。但一个好的Eval，不能只测试今天模型已经会做的事情，还应该包含今天模型尚未完全解决、但未来用户体验真正需要的任务。 换句话说，**Evals要面向未来设计。** 不要只盯着眼前的客户体验，要将用户报告的最新失败模式，以及你希望应用未来发展的方向融入到测试用例中。如果某些遗留问题被证明不可解，请立刻更新更难的题目。 **二是精简“脚手架”（Shrink the Scaffolding）** Theo反复强调的另一个建议是：**shrink your scaffolding，缩小模型周围的“脚手架”。** 所谓“脚手架”，即在工程实践中，开发者为了修补旧模型的各种漏洞，在其周围套上的系统提示词、外部工具、代码Harness，以及各种围绕模型搭建的约束和补丁。 比如，模型某次引用格式错了，就加一条规则；模型某次没遵守要求，就再写一段约束；模型某次调用工具失败，就在外层加更多逻辑……这些补丁在旧模型时代可能有用。但当新模型的指令遵循能力变强之后，旧补丁反而可能成为问题。 Theo举了Anthropic自身的一个例子。团队曾一度以为新模型在Claude.ai的引用功能上出了Bug，后来检查才发现，是因为新模型遵循指令的能力大幅提升，导致它极其听话地去执行了一行很久以前写在系统提示词里、但现在已经过时的引用格式指令。团队最终只需将那行过时的提示词彻底删掉，功能便恢复了正常。 这说明，开发者应当“针对意图”去编写简洁的提示词，明确最终想要的结果，而不是围绕着过去老模型的失败经验去过度包装。给模型松绑，精简“脚手架”，让它拥有更多的自主权，你才能看清它真正的天花板在哪里。 **三是闭环设计，让模型验证自身的输出结果** **模型要完成更复杂的任务，只会思考还不够，它还需要动作能力。** 这是构建自改进Agent最核心的底层逻辑。既然模型已经具备了极强的错误恢复能力，就必须在工程上**“闭环智能体循环”**（Close the Agent Loop）： **给模型留出思考与工作的空间：** 引入自适应思考机制。在产品设计上允许模型进行前端思考，甚至可以通过投入度拨盘（Effort Dial）让模型可以自由上调或下调在某个复杂问题上的钻研程度。 **以受控的方式开放高权限：** 想要发挥Agent的自主性，就必须赋予它在环境里采取行动的权限。Anthropic在Claude Code中推出了“自动模式”分类器，它能够在“开发者的控制欲”与“模型的自主权”之间找到完美平衡，自动甄别哪些行动是安全可取的，防止模型误删环境。 **提供自我质检的工具：** 应该为Agent配备诸如“Computer Use”这样的自动化验证工具，让智能体能够自己去前端到处点一点、做质检，通过环境的真实反馈发现自身的错误，从而实现代码的自我迭代与修正。 参考链接： https://x.com/0xwhrrari/status/2069163624375976103