o1突发内幕曝光？谷歌8月论文已揭示原理，大模型光有软件不存在护城河

有人由此感慨：

就在刚刚，OpenAI把o1-mini的速度提升了7倍，每天能用50条；o1-preview则提升到每周50条。

计算量节省4倍

谷歌DeepMind这篇论文的题目很直白：优化LLM测试时计算，比扩大模型参数规模更高效。

这个思路挺有意思的。人类面对复杂问题时会花更长时间思考来改善决策，那LLM是不是也能这么干？换句话说，面对一个复杂任务时，能不能让LLM更有效地利用测试时的额外计算，来提升准确性？

此前的一些研究已经论证过，这个方向确实可行，但效果比较有限。所以这次的研究想搞清楚：在只动用较少额外推理计算的情况下，到底能让模型性能提升多少？

他们设计了一组实验，用PaLM2-S*在MATH数据集上跑了一轮。主要分析了两种方法：一种是迭代自我修订——让模型多次尝试回答一个问题，每次尝试后自动修订，以得到更好的答案；另一种是搜索，在这种方法里，模型会生成多个候选答案，然后从中择优。

从结果来看，使用自我修订方法时，随着测试时计算量增加，标准最佳N策略（Best-of-N）与计算最优扩展策略之间的差距逐渐拉大。而使用搜索方法时，计算最优扩展策略在初期优势明显，并在一定条件下，能达到与最佳N策略相同的效果，计算量却只需要前者的四分之一。

接下来他们还做了一个FLOPs匹配评估：把采用计算最优策略的PaLM 2-S*，和一个14倍大的预训练模型（不做额外推理）进行对比。结果发现，使用自我修订方法时，当推理tokens远小于预训练tokens，测试时计算策略的效果优于纯预训练。但随着比例增加，或者问题的难度上升，预训练的优势又回来了。

说白了，问题难度才是决定不同测试时计算扩展方法是否有效的关键。

研究还进一步比较了不同的PRM搜索方法，结果显示，前向搜索（图中最右侧）需要的计算量更大。

在计算量较少的情况下，使用计算最优策略最多能节省4倍的资源。

拿OpenAI的o1模型来对比，这篇研究给出的结论几乎是一致的。o1模型学会了完善自己的思维过程，尝试不同策略，并认识自己的错误。而且随着更多的强化学习（训练时计算）和更多的思考时间（测试时计算），o1的性能持续攀升。差别只在于，OpenAI抢先一步发布了模型，而谷歌这边用的是PaLM2，在Gemini2上还没有更新的发布。

网友：护城河只剩下硬件了？

这样的新发现不免让人回想起去年谷歌内部文件里提出的那个观点：各家研究速度都很快，谁也不能确保自己永远领先。唯一的护城河，或许只剩下硬件了。

（所以马斯克哐哐建算力中心？）

有人表示，现在英伟达直接掌控着谁能拥有更多算力。但如果谷歌或微软开发出了效果更好的定制芯片，局面又会如何演变？

值得一提的是，前段时间OpenAI首颗芯片曝光，将采用台积电最先进的A16埃米级工艺，专为Sora视频应用打造。显然，大模型这场仗，单靠卷模型本身已经不够用了。