解构 GPT-4o 语音交互

北京时间5月14日，OpenAI正式发布了GPT-4o。名字里的“o”代表“omni”（全能），一个能实时处理音频、视觉和文本的模型。它能接受文本、音频、视觉作为输入，也能生成这三种模态的输出。最让人印象深刻的是，GPT-4o对音频输入的响应时间平均只有320毫秒——这个速度，已经和真人对话的响应时间相差无几。相比之下，之前的Voice Mode需要多个模块协同，而GPT-4o通过一个神经网络处理所有输入和输出，大幅提升了效率和准确性。不过，截至6月6日，GPT-4o的语音相关API仍未开放，计划在未来几周内先向一小群受信任的合作伙伴推出音频支持。

GPT-4o 语音交互强在哪里？

从演示环节看，GPT-4o的语音交互不仅做到了丝滑低延迟，更关键的是，它能精准遵循指令。比如，你可以要求它用“更情绪化、更戏剧化、最大程度的情感表达”来朗读文本，语速也能调整。这彻底改变了之前那种单一、机械的音频输出，智能性提升了一个台阶。说它是碘伏语音交互，一点也不为过。

GPT-4o 模型

官方介绍里明确说了：GPT-4o训练了一个端到端的单一模型，覆盖文本、视觉和音频。这意味着所有输入和输出都由同一个神经网络处理。输入和输出的组合可以形成3x3种可能性——文本对话、文生图、文字到语音、语音到文字、语音到语音等等。这里引用AnyGPT的配图来说明（图片位置不变）：

另外，《纽约时报》去年曾报道，OpenAI耗尽了有用的数据资源，转而讨论转录YouTube视频、播客和有声读物的可行性。可以推测，OpenAI正是通过精细化的数据清洗和打标，构建了大量多模态数据集来训练模型。

GPT-4o 语音交互如何做到低延迟？

1. 端到端建模
   ：消除了传统流程中“语音→ASR→LLM→TTS→语音”的模块衔接延迟。

2. GPT 天然低延迟
   ：GPT模型在FirstToken生成上本身就具备优势。

3. 全双工交互
   ：模型持续接收输入语音，同时在输出端添加多个Head来处理语音活动检测（VAD）、语义是否结束、是否主动打断等任务。这样，模型能在恰当时机开始理解音频并生成回复。这一效果依赖于数据清洗和打标阶段的细致工作。

事实上，通过添加SpeechEncoder和Adaptors到预训练Llama模型，已经可以完成许多语音任务。早期研究如SpeechGPT、Audio Flamingo、Qwen-Audio等，都展示了语音识别、音频理解、AudioCaptioning等能力。LLaVA（Llama的视觉扩展）也采用了类似思路。在语音领域，自监督学习和编解码技术（如SpeechTokenizer）已经被广泛研究。

相比之下，基于大模型的传统语音全双工交互（ASR+智能语音语义打断→LLM→TTS）如果做好流式处理，延迟也能控制在1秒上下。但它的短板在于缺乏情感识别，也无法将情感和指令传递到语音生成模块——这正是Hume.AI等公司试图填补的空白。

值得留意的是，我亲自下载了OpenAI的demo视频（链接：https://www.youtube.com/watch?v=DQacCB9tDaw&t=2s），发现实际语音交互的延迟大部分在800-1000毫秒之间，远高于官方宣称的320毫秒。可能RTC等部分还没优化到位。

GPT-4o 如何做到情感丰富、指令遵循的语音输出？

从TTS的发展来看，用GPT做语音生成已经成为主流方向。它自然可以扩展到Text Prompted TTS——也就是通过文本指令来控制语音的情感、语气等。国内常说的“捏声音”，其实就是一种简化版的PromptTTS。模型能接收类似“用高兴中透露悲伤的语气生成这段话”的指令，这需要在数据准备阶段做好AudioCaptioning。

有人将TorToies-TTS的“Text→GPT→Diffusion→Vocoder”奉为至宝，但这也束缚了思路。从GPT PromptTTS到端到端多模态语音生成，其实是一个很自然的过程。GPT-4o的演示中，它能比之前更情绪化、更戏剧化……这种“更”的指令，需要在数据准备阶段设计度量标准，以在训练中体现语义的强度和长上下文建模。

GPT-4o 之后的语音交互？

GPT-4o拔高了行业预期。有多少厂商能跟进？又能跟进多少？哪些领域还能做出差异化？大模型成本显著降低后，以GPT-4o为代表的多模态模型会覆盖更多场景，商业化落地的推动力将更强劲。构建在多模态之上的应用，必将在移动端释放巨大能量，甚至催生出新的硬件载体。

• 在 GPT-4o 释放完整能力前，听听实时多模态 AI 创业者的一手经验
• GPT4o对实时互动与RTC的影响