GPT-5.6 Sol 的 ARC-AGI-3 分数为何翻近三倍：Agent 评测必须记录整套运行合同

GPT-5.6 Sol 的 ARC-AGI-3 分数为何翻近三倍：Agent 评测必须记录整套运行合同

摘要

还是同一个 GPT-5.6 Sol，还是同一份 ARC-AGI-3 Public set：官方 Harness 跑出来是 13.3%，而启用了 retained reasoning 和 compaction 的 Responses API Harness 则达到 38.3%，同时输出 Token 还压缩了大约六倍。这个结果如果简单归结为“两个开关把模型智力拉高了三倍”，其实会把问题看浅了。真正发生变化的，不是模型突然变聪明，而是 Agent 的运行系统被改写了：推理状态能不能接着往下走、超长历史该怎么收束、任务会在哪一层被重置，以及预算和环境又是如何给模型划边界。接下来，文章会先把 13.3%、38.3% 和 7.78% 这三组数字的统计口径讲清楚，再拆开说明两层失忆、RHAE 计分机制以及公开消融中的缺口，最后给出四组可辨识实验、双轨报告规范，以及一份可以直接复用的 Agent Eval Contract。

关键词

ARC-AGI-3、Agent Eval、Harness、Responses API、Retained Reasoning、Compaction

目录

• 同一个模型，为什么会出现两个完全不同的分数
• 先把 13.3%、38.3% 与 7.78% 放回正确位置
• ARC-AGI-3 为什么特别依赖状态连续性
• 官方 Harness 的两层失忆
• retained reasoning 与 compaction 各自解决什么
• Token 少六倍，为什么不会自动把分数抬高
• 两项设置没有公开独立消融
• 怎样设计一组可辨识的复现实验
• 通用 Harness 与生产 Harness 应双轨报告
• Agent Eval Contract：模型名只是一个字段
• FAQ

同一个模型，为什么会出现两个完全不同的分数

OpenAI 在 2026 年 7 月公布了一组很容易被误读的结果：

• GPT-5.6 Sol + ARC 官方 Harness：Public set 13.3%；
• GPT-5.6 Sol + Responses API Harness + retained reasoning + compaction：同一 Public set 38.3%；
• 后一种运行方式的输出 Token 约减少六倍。1

模型名字没有变，公开任务集合没有变，结果却从 13.3% 变成 38.3%。最直觉的标题是“两个设置让模型能力翻了近三倍”，但这个表述把系统结果错误压缩成了模型属性。

更准确的解释是：原运行系统在每一步都破坏模型刚形成的工作状态，新运行系统停止了这种破坏。对交互式 Agent，Harness 不只是输入输出胶水，它还决定模型能看到什么、记住什么、何时清空、怎样压缩、如何重试，以及能消耗多少动作、Token、时间和成本。

因此，“GPT-5.6 Sol 得了多少分”并不是完整事实。完整事实至少要写成：

这张官方图比两个端点更重要：它同时画出了 Low、Medium、High、Xhigh 与 Max reasoning effort。随着推理预算提高，两种 Harness 并没有沿着同一条效率曲线移动。官方 Harness 到 Max 时每局平均输出约 290 万 Token，得分 13.3%；保留 reasoning 并启用 compaction 的 Harness 约 48.5 万 Token，得分 38.3%。1

因此，变化不只是“少花 Token 得到同样结果”，而是整条质量—资源前沿发生了移动。但图表仍然只能证明两套组合系统的差异，不能把增益分别归因给 retained reasoning 或 compaction。

先把 13.3%、38.3% 与 7.78% 放回正确位置

这三个数字来自两个任务口径，不能串成一条提升曲线。

ARC Prize 的 GPT-5.6 页面同时列出 Public 13.33% 与 Semi-Private 7.78%。2 Semi-Private 用于 Verified frontier 测试，数据和验证流程与 Public 不同。ARC 的政策页还强调 Verified frontier 测试通常是单次运行，并要求外部模型 API 使用 Zero Data Retention。3

所以不能写“7.78% 提升到 38.3%”，也不能拿 Public 38.3% 推算一个 Semi-Private 成绩。ARC 提到 Public demo 总体上被认为更难，并用绝对差 ±15 个百分点描述数据集级的良好一致性，但这不是模型级换算公式。3

这是本文的第一条评测纪律：

ARC-AGI-3 为什么特别依赖状态连续性

ARC-AGI-3 不是静态问答。Agent 面对一组没有说明书的二维交互环境，需要通过动作观察变化，逐步推断对象、规则、目标和策略。ARC Prize 公布的完整系列包含 135 个环境，其中 25 个作为 Public demo；人类数据包含 458 名参与者和 342 条逐步回放。4

这类任务里，正确答案不在初始输入中。Agent 必须不断形成、验证和修正世界模型：

1. 观察一个场景，提出假设；
2. 执行动作，读取环境反馈；
3. 判断假设被支持还是被否定；
4. 保留有效规则和失败证据；
5. 在后续关卡复用已经学到的结构。

一次动作本身只是一条记录。真正有价值的是“为什么执行、验证了什么、排除了什么、下一步要做什么”。如果 Harness 只留下动作而丢掉这些工作状态，模型每一轮都要从日志重新反推自己的计划。

官方视频给出了静态分数无法表达的过程证据：当两侧累计输出 Token 都在约 9.6 万时，官方 Harness 仍停在 1/6，Responses API Harness 已推进到 4/6；约 10.1 万 Token 时，右侧继续推进到 5/6，左侧仍是 1/6。1 这不能替代正式消融，却能排除一种过度简化——差异并不是只在最终计分时突然出现，而是在连续探索过程中逐步累积。

官方 Harness 的两层失忆

OpenAI 对运行轨迹的分析指出，官方 Harness 有两种会破坏长期学习的行为。1

第一层：每次环境动作之后，private reasoning 被丢弃。

模型可能还看得到“刚才向左移动”，却失去“向左是为了验证蓝色区域是否传送，结果否定了假设 A”这类内部工作状态。下一轮不是接着推理，而是重新定向。

第二层：历史增长到 175,000 字符后，最旧消息被滚动删除。

此时丢失的不只是“为什么做”，还包括“早期做过什么、观察过什么”。两种失忆叠加后，模型会反复识别同一对象、重新验证失败路线，甚至在后期关卡丢掉早期建立的规则。

这解释了为什么状态策略会同时影响质量与资源：重复定向会产生更多 Token，也可能带来更多无效环境动作。但它仍然只是机制上合理的解释，不是已经完成的因果分解。OpenAI 没有公开逐游戏动作数、中介分析和两项设置的完整消融。

retained reasoning 与 compaction 各自解决什么

OpenAI 对 Harness 进行了底层重构，核心在于引入 Responses API。这一改动不仅让推理过程与行动指令得以形成连续循环，更关键的是，它通过 previous response ID 实现了 GPT-5.6 推理状态的有效延续。这意味着，模型在后续采样中，能够直接调用并处理先前生成的 opaque reasoning items，从而打破以往的状态割裂，实现更流畅的链式推理。

这里要排除两个误解。

第一，retained reasoning 不等于开发者读取隐藏思维链。OpenAI 明确说明 raw chain-of-thought 不会暴露；reasoning item 由系统内部保留，客户端只获得 response ID、opaque item、加密内容或可选摘要。56

第二，状态延续不等于免费上下文。即使使用 previous_response_id，链中先前输入 Token 仍会作为输入 Token 计费。7

retained reasoning 解决的是跨工具调用、跨轮次的认知连续性；它不解决历史无限增长。compaction 则在接近上下文阈值时，把关键先前状态和推理压成更少 Token 的 opaque item。服务端压缩可由 compact_threshold 触发，也可以显式调用 standalone compact endpoint。8

compaction 不是无损归档。官方只说明它携带 key prior state and reasoning，没有承诺每条消息、数字、顺序与证据都能逐字恢复。standalone compact 的输出还可能包含保留的原始 items，下一轮应原样使用完整输出，不能自行再裁剪。8

第二段官方动画把这个差别画成了时间序列：左侧上下文顶部出现红色 dropped 区域，旧消息被直接删除；右侧保留 reasoning，并用紫色 compaction item 携带压缩后的先前状态。两组关键帧还显示，右侧每次动作的输出规模约为 852—1,100 Token，左侧约为 2,600—3,000 Token。1 这与“减少重复定向”的解释一致，但仍应视为机制可视化，而不是逐项独立因果证明。

因此，生产系统不应把 opaque compaction 当作唯一真相。目标、权限、已确认事实、来源、工具结果和审批记录仍应保存在外部 canonical state 或事件日志中。

Token 少六倍，为什么不会自动把分数抬高

ARC-AGI-3 使用 RHAE（Relative Human Action Efficiency）衡量完成度与相对人类动作效率。只有改变环境状态的离散交互才算 action；内部推理、工具调用和不改变环境的重试不计入环境动作。9

完成某一关后的核心公式是：

level_score = (human_baseline_actions / ai_actions)^2

单关得分封顶 1.15，后期关卡权重更高，未完成后续关卡还会限制游戏总分。9

输出 Token 不在公式中。因此：

• Token 减少，但环境动作与完成关卡不变，RHAE 不变；
• Token 减少，却让模型思考不足、环境动作增加，RHAE 下降；
• Token 增加，但换来更少环境动作和更多关卡完成，RHAE 可能上升；
• Harness 即使做了很多内部工具调用，只要不改变环境，RHAE 不会直接惩罚这些成本。

两项指标可以同时改善，但只能通过一条间接路径解释：

状态连续性提高→ 重复定向与重复探索减少→ 输出 Token 和无效环境动作都可能减少→ 完成更多关卡或用更少动作完成→ RHAE 上升

RHAE 的平方项会放大动作效率差异：AI 动作数翻倍，单关得分不是减半，而是降到四分之一。后期关卡加权又会放大长期状态连续性的价值。

但没有逐游戏动作、关卡完成和 Token 轨迹，我们不能断言这条路径解释了全部 25 个百分点。

两项设置没有公开独立消融

OpenAI 公开的是两个端点：

• G00：官方 Harness，13.3%；
• G11：retained reasoning + compaction，38.3%。

文章没有公开：

• retained reasoning 开、compaction 关；
• retained reasoning 关、compaction 开；
• 各组逐游戏成绩、动作数、Token 与方差；
• 两项设置是否还有其他实现差异。

更关键的是，native compaction item 本身可能携带 prior state and reasoning。8 即使表面关闭 all_turns，只要仍然回传 native compaction item，就不能自动证明跨窗口 reasoning 已被排除。

所以 retained reasoning 与 native compaction 不是天然正交的两个布尔开关。直接画一个 2×2 表并给每格起名字，不代表实验已经可辨识。

怎样设计一组可辨识的复现实验

一个更诚实的主实验可以采用四组：

G01 不是 native compaction 的“纯关闭 reasoning”版本。它应使用可见 schema，例如：

confirmed_rules: []rejected_hypotheses: []current_goal: ""key_objects: []open_questions: []evidence_refs: []

这组测试的是“显式状态压缩优于滚动删除”，不会假装能把 native compaction 中的隐藏 reasoning 分离出来。

四组实验还必须固定：

• 模型不可变快照、reasoning effort、最大输出；
• API、SDK、Prompt、帧序列化与动作解析；
• game ID 与 version、task manifest hash、评分版本；
• 任务顺序、动作预算、Token/时间/成本预算；
• 重试、超时、非法动作与 overflow 行为；
• 数据保留、状态重置、重复次数和执行随机化。

指标至少分三层：

1. 任务指标：RHAE、逐关完成、环境动作；
2. 资源指标：输入/输出/reasoning Token、模型调用、工具调用、重试、compaction 次数、延迟、成本；
3. 状态质量：关键事实召回、重复失败动作、重新定向 Token、世界模型探针。

通用 Harness 与生产 Harness 应双轨报告

通用 Harness 与生产 Harness 回答的是不同问题。

Reference Harness 追求公开、最小、跨供应商和固定预算，回答“在统一接口下，这个模型能做到什么”。它有利于公平比较，也可能压制某些模型训练时预期的原生状态机制。

Production-Aligned Harness 使用模型推荐 API、推理状态、工具和上下文管理，回答“在真实产品栈中，用户能得到什么”。它更接近可部署上限，也会把供应商私有 API 与工程优化混进系统成绩。

更成熟的报告应同时包含：

1. Reference Harness Score；
2. Production-Aligned Score；
3. Resource Envelope：动作、Token、延迟、成本、重试、compaction；
4. Run Contract Diff：两套运行合同究竟改了什么。

这样研究者可以比较模型，工程团队也能评估产品上限，读者不会把整套运行系统包装成模型本体。

Agent Eval Contract：模型名只是一个字段

ARC 的评分基线、单关上限和多个游戏版本曾在 2026 年 4 月更新；游戏 ID 本身包含稳定 game name 与可变 version。1011 只写“ARC-AGI-3 + GPT-5.6 Sol”不足以复现。

下面是一份可裁剪的最低合同：

contract_version: agent-eval-contract/1.0benchmark:name: ARC-AGI-3split: publicscoring_method: RHAEscoring_version: exact-date-or-committask_manifest_hash: sha256game_ids_and_versions: []toolkit_commit: exactmodel:provider: openaipublic_name: gpt-5.6-solimmutable_snapshot: exact-if-availablereasoning_effort: maxmax_output_tokens: exactapi_and_prompt:endpoint: /v1/responsesapi_version: exactsdk_version: exactsystem_prompt_sha256: exactframe_serializer_version: exactaction_schema_sha256: exactstate_and_context:reasoning_context: all_turnshidden_reasoning_readable: falsereset_on_level: falsereset_on_game: truecompaction_mode: server-sidecompact_threshold: exactoverflow_behavior: fail-and-classifybudget:max_environment_actions: exactmax_model_calls: exactretry_limit: exacttimeout_ms: exactcost_budget_usd: exactrun:repetitions: exactexecution_order: randomizedprovider_request_ids: []artifact_manifest_sha256: exactmetrics:rhae_total: nullrhae_per_game: {}levels_completed: 0environment_actions: 0model_calls: 0retries: 0input_tokens: 0output_tokens: 0compaction_count: 0latency_p95_ms: nulltotal_cost_usd: null

合同还应绑定失败分类：推理重置、滚动截断遗忘、compaction 遗漏或失真、旧状态污染、上下文溢出、非法动作、重试风暴、预算耗尽、跨任务状态泄漏与异常值。

最终要比较的不是一个孤立分数，而是一条系统前沿：质量、环境动作、Token、延迟、成本、可审计性与可移植性如何随运行合同变化。

FAQ

38.3% 是否说明 GPT-5.6 Sol 的模型能力提高了近三倍？

不能这样下结论。模型名称相同，但 Harness、状态和上下文策略不同。38.3% 证明可实现的系统表现显著变化，不等于权重本体能力被独立测量为提高三倍。

38.3% 是否是 ARC Prize Verified 成绩？

不是。它是 OpenAI 在 Public set 上的自有 Harness 实验。ARC Prize 当前页面列出的 Semi-Private Verified 成绩是 7.78%。2

输出 Token 少六倍是否直接导致 RHAE 上升？

不会直接导致。Token 不进入 RHAE 公式；它只能通过减少无效环境动作或帮助完成更多关卡间接影响得分。

retained reasoning 会不会泄露模型的隐藏思维链？

官方机制不会把 raw chain-of-thought 交给客户端。开发者处理的是 response ID、opaque reasoning item、加密内容或可选摘要。56

所有 Agent 都应默认启用 retained reasoning 与 compaction 吗？

不应。短任务、样本必须独立的批量评测、强审计任务、跨供应商恢复和状态污染风险较高的场景，都需要单独判断。显式状态机、事件日志、pinned facts 或阶段 checkpoint 可能更合适。

结论

这次结果真正改变的不是某个 API 设置的流行度，而是 Agent 评测的责任边界。

模型名仍然重要，但它只是运行合同中的一个字段。只有同时记录 API、推理状态、上下文策略、环境和评分版本、预算、重试与产物证据，分数才具有可复现、可比较和可归因的意义。

通用 Harness 给出共同坐标，生产 Harness 给出可部署上限，消融实验解释二者之间的差异。三者缺一不可。

Footnotes

1. OpenAI, How enabling two settings tripled our scores on the ARC-AGI-3 benchmark ↩ ↩2 ↩3 ↩4 ↩5

2. ARC Prize, GPT-5.6 - ARC-AGI Results ↩ ↩2

3. ARC Prize, Verified Testing Policy ↩ ↩2

4. ARC Prize, Measuring Human Performance on ARC-AGI-3 ↩

5. OpenAI Developers, Why we built the Responses API ↩ ↩2 ↩3

6. OpenAI Developers, Reasoning models ↩ ↩2 ↩3

7. OpenAI Developers, Conversation state ↩

8. OpenAI Developers, Compaction ↩ ↩2 ↩3

9. ARC Prize Docs, ARC-AGI-3 Scoring Methodology ↩ ↩2

10. ARC Prize Docs, Toolkit Changelog ↩

11. ARC Prize Docs, Game Schema ↩