Agent 进化论：从对话到协作

想象一下这个场景：你走进一家门店，想请人帮忙剪一条新品上架的宣传视频。以前，你得把需求写成一长串细致的说明，像写程序代码一样严谨；现在呢？你直接开口说“帮我剪一条今天新品上架的视频”，然后通过几句对话，把具体细节敲定下来——就跟和真人剪辑师沟通一样。

这种变化正在各种场景里悄然发生。程序员在通勤或散步时，用语音跟Agent讨论功能怎么设计、如何实现；玩家在游戏过程中，不断跟AI游戏助手确认当前该做什么任务、还差哪些道具没收集……人与AI的沟通，正变得越来越像人与人之间的交流。

进入Agent时代后，AI的角色发生了根本性转变。它不再是输入框另一端的响应系统，而开始参与到需求讨论、方案判断和任务执行的全过程。正是这种角色变化，让音视频对话成为越来越多人与Agent交互的主要方式。

数据很能说明问题：豆包App在今年一季度的音频用量环比增长约200%，视频用量增长约350%；近一年来的音视频模型日均Token消耗已经达到千亿级别。联想天禧AI看世界功能，从2025年8月上线到2026年5月，人均对话轮次已经提升到刚上线时的1.65倍，是传统一问一答主对话的3倍。

当越来越多人把与Agent的沟通方式从打字切换到视频或语音，多模态对话就很可能会成为人与Agent协作的主要交互界面。语音、视频、屏幕共享和环境信息，都会成为这个界面的一部分。用户不再只是“输入问题”，而是在一个持续的上下文中，让Agent理解任务、补充信息、调用工具并参与执行。

但要真正实现这一点，对多模态交互能力的要求就不能只是“能听见声音”或“能看见画面”。它需要具备接近人的沟通能力，同时做好听觉、视觉、记忆和意图四项能力。只有当这些能力同时成立，多模态对话才会从一种输入方式，升级为支撑任务判断、方案形成和执行推进的协作机制，支持Agent完成从工具到伙伴的进化。

一、从等待指令到参与讨论

多模态交互真正改变的，不只是用户向AI发出指令的方式，而是Agent进入任务的时间点。

在人与人的协作中，很多需求和答案一开始并不完整。往往是一个模糊的想法，然后在讨论中不断被追问细节，结合场景、资源和目标来补充信息，最终才沉淀成一个清晰的执行方案。现在，人与Agent的沟通也开始经历同样的过程——从一次性发出指令，转向在多轮交流中澄清需求、形成方案。这正是多模态交互改变协作方式的关键所在。

首先，它降低了人与Agent沟通的门槛。

用一段文字向AI提需求，看似简单，实则很难。用户得知道怎么描述背景、目标、限制条件和期望结果，还得提前预判模型可能误解的地方。Prompt写得不完整，结果就会有偏差；想把Prompt写清楚，又需要付出时间和精力去学习。多模态交互让用户可以用自己最习惯的方式表达需求，不需要学怎么写Prompt，甚至也不需掌握专业工具和术语。就像开头那个用AI做宣传视频的店员，他只需要想明白自己要什么样的成果就行，不必变成一个既懂技术又懂业务的多面手。

其次，在人与Agent的充分讨论中，问题的上下文能被更完整地还原。

当前很多任务的挑战不在执行，而在没充分向Agent澄清需求。尤其是编程、设计、办公、内容生产这些场景，用户一开始往往只有一个方向，而不是一份完整的需求文档。如果Agent只接收一个静态Prompt，它只能基于有限信息直接执行；但如果能通过多模态交互和用户反复讨论，它就能追问关键条件、澄清模糊表达、补全上下文，在理解目标、约束和实现路径的基础上，再进入执行环节。

举个例子，在Vibe Coding场景中，Agent的价值不只发生在写代码的那一刻，更多是体现在需求讨论和方案澄清阶段。TRAE Work“语音讨论”功能的数据显示，用户平均每通对话与Agent交互17轮；60%的对话属于探索发散型；70%的对话用于方案讨论，只有30%用于代码生成。

最后，多模态交互也符合人类工作重心从执行到监督的转移趋势。

随着Agent能力继续增强，用户会越来越少地亲自执行具体步骤，而是转向监督和保障Agent执行任务的效果。未来很多工作甚至不再需要人一直守在屏幕前，而是由Agent持续推进，在遇到不确定、需要判断或需要授权的环节时，再提醒人介入。在这种工作状态下，语音和视频会成为更自然的监督和介入方式。人在通勤路上，可以用语音和Agent讨论方案；可以通过屏幕随时观察Agent的执行状态和结果；也可以打开摄像头，让Agent结合现场画面给出新的判断。

所以说，多模态对话的价值不只是让用户少打字，而是改变了Agent进入任务的阶段：它从结果生成环节前移到需求形成、方案讨论和执行监督环节。

二、类人沟通，迈向人与Agent协作的关键进化

Agent的多模态交互能力，让人不必始终待在传统操作界面里，也能配合其完成工作。这需要在四个方面进行增强：

第一是听觉

目标是在真实环境中保证Agent能与人进行顺畅、高效的沟通。真实世界的声音环境远比实验室复杂。用户可能在地铁、咖啡厅、办公室、户外环境中和Agent对话，环境里往往有回声、噪音；还可能面对多人沟通场景。对人来说，我们可以自然区分“谁在跟我说话”“哪句话与我有关”；但对Agent来说，这需要依赖声学和语义系统来实现。

火山引擎为提升Agent的多模态交互能力，会在回声消除、基于声纹识别的降噪，以及声学和语义的联合理解方面做针对性优化。传统回声消除更关注人耳的听感，但Agent更在意语音识别的完整性，因此需要在压制回声的同时，保护主讲人的声音频谱。声纹识别则可以帮助Agent锁定主讲人，减少旁人说话带来的干扰。声学和语义的联合理解，可以让Agent知道这句话是不是对它说的。

只有Agent能稳定听清用户、理解用户，用户才会愿意用自然语言持续和它交流。这对终端场景尤其重要。联想天禧AI看世界的使用场景包括了办公、户外、看球、健身、通勤等真实环境。借助火山引擎的听觉能力，联想将自由打断、低延迟响应和高拟真音色打造成了AI看世界的体验亮点。

第二是视觉

视觉可以让Agent和用户共享同一个问题现场。联想天禧AI看世界打通了实时对话、屏幕共享和摄像头共享三种模式。用户可以在Excel里问“这几个单元格怎么合并”，也可以让AI评价自己今天的穿搭，让AI陪自己看剧、估算食物热量。

实现这种视频理解体验的难点不是让Agent看到更多画面，而是让它看到更有效的画面。连续视频里有大量重复帧、模糊帧和低价值信息，如果全部送入模型，会带来成本和延迟压力，也会影响理解效率。因此，服务Agent的多模态交互需要在端侧提升采集质量，在云端具备关键帧优选、智能抽帧能力，并能具备选择性注意力。

选择性注意力是火山引擎推出的让Agent能进行类人沟通的关键能力之一。它能让Agent在处理连续画面前，先根据用户的意图去创建一个实时视觉理解任务，带着目标去看视频。比如，在服务球赛场景时，Agent应该能通过球衣号码辨别出对应的球员，进而确认需要追踪哪位球员的场上动作。

第三是记忆

记忆决定了Agent与人能否跨越单次会话，实现真正的合作。真正的类人沟通不是只理解当前一句话，而是能记住过去发生了什么，和用户之间发生过什么。比如用户问“刚才午饭热量高吗”，Agent需要回忆起此前看到的食物画面。这样的交流才会更接近人与人之间的相处状态。

火山引擎为多模态交互构建了三层记忆体系：第一层是增强上下文，负责将多模态解析出来的画面核心主体类型、时空位置、行为动作等信息结构化，作为上下文提供给Agent；第二层是短期记忆，记录几分钟前看到的画面或听到的声音；第三层是长期记忆，抽象和记录用户长期交互中的关键行为、习惯特征和重要事件。

具体实践中，联想天禧AI会据此搭建跨端、跨会话、跨场景的记忆体系。这套记忆系统不只服务于主对话，也会接入AI看世界，并覆盖PC、Phone、Pad多端。用户无论通过文字、语音还是视频交互，记忆都可以被沉淀下来，并在下一次会话中被调用。这会让Agent不再只处理单次请求，而是开始沿着用户的生活和任务脉络持续积累上下文。

第四是意图

意图解决的是Agent能否参与任务定义的问题。人类沟通中，大量信息并不会被明确说出。用户说“帮我做一个权限管理系统”，真正重要的问题可能是：权限按角色分配还是按部门分配？是否需要审批？是否有管理员层级？是否要和现有系统打通？一个只会执行的Agent会立刻开始生成结果；而一个更接近协作者的Agent，则会主动追问关键约束，把模糊需求变成可执行方案。

听觉解决“听见谁”，视觉解决“看见什么”，记忆解决“记得哪些上下文”，意图解决“到底要完成什么任务”。四项能力共同构成了Agent从对话走向协作的基础。这也是火山引擎的多模态交互能力区别于传统问答的地方。它能在连续沟通中理解用户真正想完成什么，并达成协作共识。

三、当多模态对话成为通用协作界面

多模态交互最终不会只是某个App里的一个功能模块，而会变成通用的Agent任务界面。

过去，语音、视频、拍照识别、屏幕共享往往是分散功能。用户需要在不同入口之间切换：想语音就打开语音模式，想识别图片就上传图片，想让AI理解屏幕就截图。未来，这些能力会融合成一个持续感知、持续协作的Agent入口，用户可以随时切换模态与Agent沟通，依靠Agent调用工具完成协作任务。

联想天禧AI看世界已经在终端侧展示了这种趋势。它不是单独增加了一个视频通话功能，而是把火山引擎提供的RTC/AgentRTC、端到端语音、TTS、ASR、Seed大模型、视觉理解、多模态传输等能力，与联想天禧AI自身的会话管理、记忆管理、跨端同步、人设管理、场景编排、上下文路由结合起来，再呈现在PC、Phone、Pad等设备上。

这意味着，实时对话正在从“打电话模式”变得更加通用，逐渐嵌入到工具、内容和现实场景中。

AI眼镜之所以被认为是未来的关键硬件产品之一，就是因为它天然接近人的视角，可以持续接收声音、画面和环境信息，是为“随时可见、随时可说、随时可协作”的Agent准备的理想载体。当Agent能听、能看、能记住、能理解意图，用户就可以通过AI眼镜这样的伴身硬件与其建立更自然的联系，利用自然语言和视觉信息操控其完成现实中的任务。比如看到一台设备，可以直接询问异常原因；在陌生环境中，也可以让Agent结合眼前画面进行解释，提供行动建议。

这种交互闭环本身就是一个适配Agent的通用操作界面，承载着未来人与物理世界的互动。它会非常接近人们在影视作品中看到的钢铁侠的贾维斯，或者高智能方程式赛车里的车载电脑。它们并不是被动等待指令的工具，而是持续理解环境、记住用户、适时介入、协助执行任务的伙伴。

这种协作方式也会进一步抬高多模态交互技术的天花板。过去AI产品比的是模型能力和任务效率，未来还会比谁更接近用户的真实使用现场，谁能让用户更自然地持续交流、持续信任、持续协作。对Agent来说，下一代入口可能不只是一个应用，也不只是一个硬件，而是一套围绕多模态对话建立起来的协作系统。