OpenAI将在两周内发布“草莓”模型，推理模式非常特殊！

Theinformation消息，OpenAI将在未来两周内发布最新模型“草莓”（Strawberry），它会直接为ChatGPT等产品提供技术支撑。

根据测试过该模型的人透露，“草莓”的推理模式确实有点特别——它会在给出回应之前，模拟人类思考，花上10到20秒钟的时间去搜索、评估信息。这意味着它能更聪明地利用现有算力，从而输出更精准的内容。

其实，这种“延迟推理”的思路，谷歌DeepMind之前就专门发过一篇论文，介绍过类似的技术逻辑。

目前，多数大模型的性能天花板，往往取决于预训练阶段的数据集规模，以及推理时可调用的算力资源。有意思的是，研究人员发现，通过增加推理时间、采用自适应策略（也就是“草莓”这种特殊延迟推理），可以显著提升模型的表现。这项技术被称作——

。

根据提示的复杂程度不同，具体的优化手法主要有两条路：一条是基于密集型、流程导向的验证奖励模型进行搜索；另一条，则是根据给定的提示，自适应地更新模型对响应的概率分布。

先看第一条路。密集型、流程导向的验证奖励模型搜索，核心是引入一个过程导向的验证奖励模型（PRM），它的作用是评估模型生成答案时每个步骤是否正确，并以此指导整个搜索过程。

换句话说，

。验证模型根据每一步的反馈，引导生成过程不断调整路径，直到找到最优解。

这种方法尤其适合那些需要多步推理和验证的任务，比如数学题或者逻辑推理题。模型会在推理过程中反复评估不同的方案，

，直到锁定那个最有可能正确的答案。

第二条路则侧重自适应更新模型对响应的概率分布。简单说，就是在生成回答的过程中，模型可以根据已经生成的内容，动态调整下一步要生成的内容。

举个例子，当模型收到一个提示后，它不会立刻给出最终回答，而是先生成一批可能的响应选项。然后，

。这样一来，下一轮生成时，它就会自动倾向那些更靠谱的选项。通过这样多次迭代，模型能不断打磨自己的回答，直到满意为止。

这种方法特别适合那些初始提示信息模糊，或者模型第一次尝试回答不够准确的情况。通过反复修正，最终输出质量能明显提升。

需要留意的是，

。比如，遇到相对简单的问题，如果基础模型本身已经能生成合理的初步答案，那让它通过预测和修订来迭代完善初始回答，效果往往比同时生成一堆独立答案更好。

反过来，如果问题是那种需要综合多种高级解决方案的，或者任务本身特别难，那平行重新采样新答案，或者采用树状搜索配合过程奖励模型，可能是更高效的选择。

所以，为了更聪明地用好这两种方法，研究人员又提出了“计算最优”策略——

，让额外的计算资源花在刀刃上。

实践证明，这套方法能让测试时计算的效率提升超过4倍，比传统的最佳N选一基线策略要出色得多。