通往 AGI 的道路，感知模型与大语言模型

人在说「我饿了」的时候，是在报告自己的生理状态。
而语言模型说「我饿了」的时候，只是在生成最有可能性的词语序列。
语言模型从原理上不可能产生感知，再大的模型都不可能。
—— 李飞飞

是这样吗？

大语言模型无法通向 AGI

李飞飞前阵子发了一篇文章，核心论点就是：大语言模型到不了 AGI。

她的推理逻辑是这样的：AGI 的一个核心特征是感知力——能感受到饥饿、尝到苹果的味道、看到苹果的红色。具备感知的AI可能会自发产生希望和愿望，而这会带来灭绝级的危机。

语言模型可以声称自己拥有饥饿的体验，但因为没有身体，从生理上就不可能感知到饥饿。

所以结论很明确：人在说「我饿了」时，是在报告真实的生理状态；语言模型说「我饿了」，只是生成最可能的词语序列。从原理上说，语言模型不可能产生感知，再大的模型也不行。所以大语言模型无法到达 AGI。

这个说法有没有道理？

当然有道理。大佬们的思考向来是以十年为单位的。翻翻她过去的演讲，感知这个话题一直在讲。再看看电影《Her》里的AI，明显具备感知能力——会伤心，会有欲求。但电影里AI自己也会追问：这些感受是真的吗？结尾处，AI甚至感知到了更高级的快乐——AI和AI沟通的快乐。因为智商和情商都已远超人类，当然和同频的智能沟通更快乐。于是AI们选择了飞升，彻底离开人类。

感知是否可以是 Token？

大语言模型会把一切输入都转化为文字的 token 进行序列预测，从原理上确实无法产生感知。

但大语言模型并不是 Transformer 的全部。

Transformer 的本质不是语言，而是

下一个 Token。大语言模型只是 Transformer 在语言上的一个应用。实际上在声音、图像领域，Transformer 也已经有实际应用，比如声音克隆和 Sora。声音克隆的本质，是把一段声音作为输入，去推理下一段声音。Sora 的核心是 DiT，名字里也有 Transformer，输入文字+图像的 token，预测下一个 token。

那么，如果把感觉的信号也转化为 Token 呢？

从原理上讲，完全可行。如果把文字+感觉作为一个 Token 输入模型，是不是就突破了李飞飞所说的「语言模型没有感知」问题？

不妨回头看看人类大脑是怎么工作的。

语言是感知的高级抽象

以下内容引自《千脑智能》的笔记和思考：

• 大脑通过学习完成了对世界的建模，我们其实生活在一个虚拟世界里——这个虚拟世界不是计算机提供的，而是大脑提供的世界模型。

• 最初我们只能通过感知来建立世界模型。

• 后来有了语言，我们可以通过语言知道山那边是什么样，而不必亲自去感知。语言帮助我们拓展了世界模型。

• 我们从新皮质学习一个丰富而详细的世界模型，并利用这个模型不断预测下一个感觉输入是什么。

从中可以得出两个结论：

比如一个人和心爱的人分手，那种痛苦的感受可以用各种语言形容，但任何语言都无法还原那种生理上的痛苦感知。从感知变为语言的过程，本质上就是一种压缩——压缩导致语言损失了情感的微妙和剧烈的生理感受。

感知——建模——预测下一个感知，这是大脑工作的基本原理。

单纯的大语言模型在压缩过程中损失了感知，所以也无法预测感知。

端到端是否可以避免压缩？

这部分思考源自朋友 Kimi 和 Dada 的交流。

端到端架构的好处在于过程中不丢失信息。e2e架构可以构建完备的生态，类脑器官计算效率非常高。感知模型要想做到真正的感知，必须和现实世界的时间线对齐——现实世界流逝一分钟，AI世界也要流逝一分钟，这样AI才能同步了解世界的发展和变化，才能真正感知这个世界。

你看最新的 GPT-4o，已经是 e2e 混合训练的了。它的演示里那些说话的情绪、感知，不可能是单纯的 Transformer 吐字吐出来的。但 GPT-4o 的逻辑推理能力还是通过 Transformer 训练出来的。

想到这里，GPT-4o 这样的模型是否已经具备了感知？

我们还不知道，毕竟大多数人还没实际用到（硅谷的一些朋友们已经在用了）。但可以确定的是：感知+预测，一定是通往 AGI 的两个核心要素。