您的位置：首页 > > 教程攻略 > ai资讯 >OpenAI 看到了什么？

OpenAI 看到了什么？

来源:互联网 更新时间:2026-08-26 14:11

最近读到一篇关于人工智能的文章，题目是《Situational Awareness》，作者 Leopold Aschenbrenner，曾在 OpenAI 的「超级对齐团队」工作。

文章讲了什么呢？核心意思就是：世人很快会觉醒，但现在，可能只有几百个人看得清现状。

_{Before long, the world will wake up. But right now, there are perhaps a few hundred people, most of them in San Francisco and the AI labs, that ha ve situational awareness.}

他还提到一个令人不安的比喻：旧金山的大佬们正在创造魔鬼，而且指望能掌控这个魔鬼。

_{Like many scientists before us, the great minds of San Francisco hope that they can control the destiny of the demon they are birthing.}

更关键的是，他声称自己能看见，怎么造这个魔鬼——也就是 AGI（通用人工智能）。

_{I can see it. I can see how AGI will be built.}

那么，他到底看到了什么，为什么说 AGI 是魔鬼？

从 GPT2 到 GPT4

GPT 是一个由 OpenAI 开发的对话程序。从2019年到2024年，先后迭代了三个版本：GPT-2、GPT-3、GPT-4。

如果用智力水平做个类比：GPT-2 相当于幼儿园，GPT-3 是小学生，GPT-4 则是聪明的高中生。趋势很清楚——越来越聪明。

那么，GPT 到底是怎么变聪明的？

核心驱动力有三个：一是芯片的算力（Compute）；二是算法的效率（Algorithmic Efficiency）；三是工程化（Unhobbling），比如 RLHF、CoT、Scafolding 等技术（篇幅有限，不展开介绍）。

这三要素的共同提升，让 GPT 的智能水平一路攀升。如下图所示，从 GPT-2 到 GPT-4，算力和算法加起来提升了约4.5~6个数量级（OOM）。

说明一下，OOM 代表数量级，1个 OOM 是10倍，2个 OOM 是100倍，以此类推。

接下来的问题是：这三个要素，还能翻几倍？GPT 最终会进化成什么样子？

GPT-4 之后

作者做了一个大胆的预测。从2023年到2027年，算力和算法合在一起，很有可能再提升5个OOM，也就是10万倍。

这个结论是怎么来的？方法很简单——外推（Extrapolate）。也就是用2019-2023年的进展，来推测2023-2027年的趋势。

当然，这种预测方式因为样本太少，误差可能很大。下图就是用来讽刺外推逻辑的经典案例。

作者自己也清楚这一点，于是他进一步做了更细致的分析。如果要实现5个OOM的增长，需要多少算力？需要多少电力？他算了一笔账。数据和算法又会面临哪些挑战，能不能解决？虽然我没去验证每一个细节，但证据看上去相当充分。结论是：5个OOM有挑战，但问题不大。

那么，这意味着什么？

他说，届时 GPT 的智力可以吊打博士，吊打各个领域的顶尖专家。

_{Likely, it will take us to models that can outperform PhDs and the best experts in a field.}

他甚至断言，2027年将实现通用人工智能。几乎所有的「认知工作」都会被人工智能系统取代。

_{We are on course for AGI by 2027. These AI systems will basically be able to automate basically all cognitive jobs.}

通用人工智能真的来了，他反而害怕了。那他怕的是什么？怕丢饭碗吗？

他说，真正让他睡不着的，是智能爆炸。

_{What really keeps me up at night is the intelligence explosion.}

一切会变得飞快，世界会陷入疯狂。

_{Everything will just start happening incredibly fast. And the world will start going insane.}

智能爆炸之后的超级智能初期，将是人类历史上最动荡、紧张、危险和疯狂的时期之一。

_{The intelligence explosion and the immediate post-superintelligence period will be one of the most volatile, tense, dangerous, and wildest periods ever in human history.}

接下来，我们具体看看，什么是智能爆炸。

智能爆炸

一旦通用人工智能实现，故事可能会这样发展。

第一步，做算法研究。复制一亿个智能体，人类需要研究几百年的问题，智能体只需要几个月。这种进化速度，就跟核反应一样快。智能体快速迭代，最终成为超级智能体。

第二步，经济飞速发展。超级智能体开始涉足其他领域的研究——机械、化工、生物、医疗等，推动经济高速增长，GDP会成倍地翻。

第三步，军事压倒性领先。用它来发明大规模杀伤性武器，就跟呼吸一样简单。

第四步，制造机器人。这样一来，它有智慧，也有身体，还能自我复制。最终，一个新物种就此诞生。

这就是智能爆炸——炸出一个新物种。这个东西，远超出人类的理解和控制范围。作者称之为超人，也是最强武器。

_{The superintelligence we get by the end of it will be vastly superhuman.}_{We’re developing the most powerful weapon mankind has ever created.}

做个简单的小结。

研究的起点，是用数据和算法训练一个智能体。它刚开始可能很笨，但没关系，只要持续提升算力，它就会变聪明。

持续提升算力，直到它能「自举」——也就是自己研究算法，自己改进自己。

接下来，去复制它。它就会快速进化，成为超级智能体。它的智慧远超人类，它既是生物，也是武器。

这就可怕了。搞不好，人类会面临灭顶之灾。

作者虽然感到恐惧，但并不悲观。他说，当务之急是解决「超级对齐问题」。处理得好，人类就能活下去。

超级对齐

超级对齐的核心问题很简单：如何控制一个智慧远超人类的人工智能系统？

_{The core technical problem of superalignment is simple: how do we control AI systems (much) smarter than us?}

我们先想一想，超级智能体到底是什么。

本质上，它不过是一堆数据，或者说代码。代码是哪来的？它自己写的。用什么语言写的？它自己发明的语言。

问题是，人类看不懂。这意味着，它可以想干什么就干什么。你说怕不怕。所以，不解决超级对齐问题，人类就可能有灭顶之灾。

作者反复强调，留给我们的时间不多了。他建议适当放缓「智能」研究，加速「对齐」研究。

他承认，当前的对齐技术，无法解决超级智能的对齐问题，因此需要全新的方法。他提了一个思路，认为可能有效，但需要整个行业一起来完善。

这个思路就是：用智能体来「对齐」智能体。概念如下图所示，具体细节请参考原文。

说完超级对齐，还有另一个更严重的问题——国家安全。

国家安全

前面提到，通用人工智能非常强大，而且很快就会实现。这么强大的东西，敌人不可能不盯上。那么谁是敌人呢？在作者看来，是专制国家。

他认为，美国最有可能第一个实现通用人工智能。但关键是要防止被敌人摘桃子。

另一个让他睡不着觉的场景是，敌人在智能爆炸前夕，偷走了最新的人工智能模型。

_{Perhaps the single scenario that most keeps me up at night is if China or another adversary is able to steal the automated-AI-researcher model-weights on the cusp of an intelligence explosion.}

一旦被偷走，美国的优势就被瞬间拉平。这样一来，美国不得不跟对手在科技领域死磕。结果，超级对齐就没有资源去搞了。最后，人工智能可能会彻底失控。因此，人工智能必须上升到国家安全的高度。

他明确提出，要保护算法秘密和模型的权重。这些秘密，将决定第三次世界大战的结果，以及自由世界的未来。他还严厉批评了那些实验室，把国家秘密当儿戏。

_{We’re developing the most powerful weapon mankind has ever created. The algorithmic secrets we are developing, right now, are literally the nation’s most important national defense secrets—the secrets that will be at the foundation of the US and her allies’ economic and military predominance by the end of the decade, the secrets that will determine whether we ha ve the requisite lead to get AI safety right, the secrets that will determine the outcome of WWIII, the secrets that will determine the future of the free world. And yet AI lab security is probably worse than a random defense contractor making bolts. It’s madness.}

以上就是文章的核心内容。