LangChain创始人： AI下一次浪潮将由AI Agent主导

日前，LangChain创始人Harrison Chase与红杉资本的Sonya Huang和Pat Grady进行了一场深度对谈，聊了聊AI智能体（Agents）的现状、遇到的坎儿和未来的想象空间。整场对话干货很多，从定义之争到架构演化，再到那些仍悬而未决的痛点和机会，信息密度很高。下面就把这场对谈的核心要点整理出来，方便快速抓住主线。

01 什么是智能体？

Sonya Huang：智能体是现在大家都非常关注的话题。从大语言模型兴起以来，你就一直站在构建智能体的核心位置。为了让大家更好地理解，什么是智能体呢？

Harrison Chase：给智能体下定义确实有点棘手，每个人可能有不同的理解，毕竟这个领域一切才刚刚开始。从本质上看，智能体就是让大语言模型在应用程序的控制流中去做决策。

拿一个更传统的检索增强生成链（RAG链）来对比，它的步骤通常是事先定好的：先生成一个搜索查询，然后检索文档，再生成答案，最后返回给用户。这是一个非常固定的事件序列。而智能体则完全不同——它将大语言模型置于中心位置，由它来决定具体要做什么。也许有时它需要去查一个搜索查询，有时它可能不需要查就直接回应。它可能查一个查询、拿到结果，再查第二个、第三个，然后再回应。整个过程完全由大语言模型来控制流向。

还有一些相关概念，比如工具使用通常与智能体绑定。这很合理，因为当大语言模型决定要做什么时，它主要通过工具使用来落地。工具使用和记忆这两个方面，与智能体是松散关联的。但对个人而言，判断一个系统是否具备智能体特性，核心就看大语言模型是否在决定应用程序的控制流。

Pat Grady：从你刚才说的来看，很多内容都围绕"决策"。但我一直认为智能体是关于"行动"的。这两者是否密不可分？智能体行为更多是关于决策还是行动？

Harrison Chase：两者相辅相成。智能体主要做的事情，就是决定采取什么行动。而行动的最大难点，恰恰在于判断什么才是正确的行动。因此，解决了"决定"的问题，自然会引出"行动"的问题。当决定做什么之后，通常系统会执行该行动，再把结果反馈给智能体。所以它们确实是相互促进的。

Sonya Huang：那么，智能体与链条（Chain）之间的主要区别，就在于大语言模型本身是否在决定下一步做什么，而不是像链条那样预先编码好所有路径。这个区分方式是否公正？

Harrison Chase：是的，基本正确。而且这里面还存在不同程度的渐变。比如，极端一些的，可以有只负责决定走哪条路径的路由器。链中可能只有一个分类步骤，LLM仍然在决定做什么，但这是一个非常简单的决策。另一个极端则是完全自主的智能体。中间如同光谱一样，存在多种程度。所以这个观点基本上是对的，只不过LLM领域和大多数事情一样，也存在不少细微差别和灰色地带。

Sonya Huang：明白了。所以确实存在一个从完全控制到完全自主决策的光谱，其他东西都在这个光谱上。很有趣。你认为LangChain在智能体生态系统中扮演什么角色？

Harrison Chase：目前的工作重点是让人们能够轻松地创建位于这个光谱中间位置的东西。综合来看，这是目前构建智能体最合适的位置。那些完全自主的东西确实引起了很多兴趣，而且快速推出原型也很简单——它们有很多好处，实际上也相对容易构建。但问题在于，它们经常会偏离轨道。人们想要的是比链更灵活、更强大，但又比完全自主更受约束的东西。因此，最近我们重点关注的是成为这个协调层，支持这些智能体的创建，特别是那些介于链和自主智能体之间的东西。总体而言，我们想成为这个协调框架的一部分。

Sonya Huang：明白了。所以有链，有自主智能体，中间是一个光谱。你们的优势点是中间部分，让人们能够创建处于中间状态的智能体。

Harrison Chase：这个定位也会随着时间推移而变化。回顾LangChain的演变很有意思。LangChain刚推出时，它就是链的组合。然后有一个类，这个智能体执行类，是自主智能体的东西。后来我们在这个类中加入了更多控制，最终意识到人们需要的灵活性和控制度，远超通过那个类能提供的范围。

所以最近，我们在LangGraph上投入了大量精力。它是LangChain的扩展，专门针对可定制的智能体，位于中间位置。我们的重点随着领域的发展而演变。

Sonya Huang：再问一个铺垫性的问题。我们有一个核心观点：下一波AI浪潮将由智能体主导，整个行业正从副驾驶（Copilot）向智能体过渡。你认同吗？为什么？

Harrison Chase：整体上同意。之所以令人兴奋，是因为副驾驶仍然依赖于人类参与整个循环。外部系统能完成的工作量，存在一个上限。副驾驶的功能有些局限性。

如何设计正确的用户体验和人类-智能体交互模式，还有一些非常有趣的问题需要思考。不过这种互动模式应该更像是智能体执行操作，然后偶尔向您确认，而不是像副驾驶那样始终处于循环之中。让智能体完成更多任务，能带来更大的效力和杠杆作用——这听起来有些矛盾，因为放任智能体自主操作得越多，它出错或偏离轨道的风险就越大。因此，找到正确的平衡将非常有趣。

Sonya Huang：我记得2023年3月左右，一些自主智能体极大地激发了大家的想象力。Baby AGI和其他GPT项目在推特上引起了巨大兴趣。不过，第一代智能体架构并没有完全达到预期。你觉得原因是什么？我们现在处于智能体炒作周期的哪个阶段？

Harrison Chase：先聊聊炒作周期。AutoGPT绝对是一个起点，可能是史上最受欢迎的GitHub项目之一。它代表了炒作周期的一个高峰，从2023年春季开始，差不多持续到夏季。然后从夏末到2024年初，感觉上像是一个低谷或下降趋势。但从2024年开始，逐渐看到一些更贴近现实的案例上线。比如我们与Elastic合作，他们有一个在生产的Elastic助手和智能体。Klarna的客户支持机器人上线并获得了大量关注。Devin和Sierra这些公司也开始在智能体领域崭露头角。

为什么AutoGPT风格的架构没有成功？它非常通用且不受约束，这正是它令人兴奋的原因。但从实用性角度看，那些希望通过自动化获取即时业务价值的人，实际上更希望智能体执行非常具体化的任务，遵循更多规则，按照期望的方式去工作。因此，在实践中看到的智能体，更多采用了所谓"自定义认知架构"——预先定义了智能体通常要执行的操作方式。当然也需要一定的灵活性，否则人们就直接写代码实现了。但这是一种非常定向的思维方式，也是今天看到的大多数智能体和助理遵循的模式。它需要更多的工程工作，需要去尝试并观察哪些方法有效，这实际上更难做到。这也解释了为什么这种智能体在一年之前还不存在。

02 智能体中的认知架构

Sonya Huang：你能解释一下什么是认知架构吗？有没有好的思维框架来理解它们？

Harrison Chase：认知架构就像是大型语言模型应用程序的系统架构。如果你在构建一个用到LLM的位置查找应用程序，打算怎么用这些大语言模型？是让它们仅仅生成最终答案？还是采用更像循环的架构？这些都属于认知架构的不同变体。本质上，认知架构只是用一种花哨的说法，来描述从用户输入到用户输出的信息流、数据流和LLM调用过程。

越来越多地看到的是，当人们真正尝试将智能体投入生产时，这种信息流会针对他们的应用程序和领域进行定制。他们可能一开始就要做些特定的检查，之后会有三个特定步骤，每个步骤可能包含一个循环返回的选项，或拥有两个独立的子步骤。如果把它想象成一个正在绘制的图形，我们会看到越来越多个定制图形——人们试图约束和引导智能体沿着他们的应用程序执行操作。

之所以叫它认知架构，是因为LLM的力量在于推理和思考应该做什么。也就是说，人们可能对如何完成任务有一个认知心智模型，然后将这种心智模型编码成某种软件系统、某种架构。

Pat Grady：你认为这是世界的发展方向吗？因为你提到了两点：一方面非常定制化，另一方面又相当原始，很多方式是硬编码的。这是前进的方向，还是一种权宜之计？未来会不会出现更优雅的架构，或者一系列默认的参考架构？

Harrison Chase：这是一个值得深思的问题。你可以争论说，如果模型在规划方面变得非常好和可靠，那么最好的架构就是一个循环：调用LLM、决定做什么、执行动作、再循环。所有约束都放在提示里，模型会明确遵循。

但模型在规划和推理方面会变得更好，却不一定能成为处理所有事情的最佳方式。原因有几个：一是效率问题，如果你知道总是要在步骤B之后做步骤A，直接按顺序排列即可；二是可靠性问题，特别是在企业环境中，你可能希望有更多确定性保证。简单但通用的架构，就像一个在循环中运行的简单认知架构。但我们在生产中看到的是定制和复杂的认知架构。另外还有一个方向是复杂但通用的认知架构，比如非常复杂的规划步骤、反思循环或思维树。这一类架构可能会随时间逐渐消失，因为很多通用的规划和反思会被训练到模型中。但仍会有大量非通用的规划、反思和控制循环，永远不会出现在模型里。所以对这两个方向都持乐观态度。

Sonya Huang：可以这样理解：LLM进行非常通用的智能体推理，但你需要领域特定的推理，这是无法在一个通用模型中构建的。

Harrison Chase：完全正确。定制认知架构的一个方法，是把规划和责任从LLM转移到人类身上。一些规划会越来越多地转移到模型和提示中。但很多任务在某些规划方面实际上非常复杂，所以距离能够可靠地处理这些任务的系统，还需要一段时间。

Sonya Huang：你之前分享过一个贝佐斯的观点——要专注于让你的啤酒更好喝的事情。他指的是20世纪初，许多酿酒厂试图自己发电，而没有专注于酿酒。今天很多公司也在思考类似的问题：你认为掌控自己的认知架构真的能让你的“啤酒”更好喝吗，还是应该把控制权交给模型，专注于构建UI和产品？

Harrison Chase：这取决于你构建的认知架构类型。回到之前的讨论，如果你构建的是通用的认知架构，这不一定会让“啤酒”更好喝。模型提供商会致力于这些通用的规划。但如果你的认知架构是在编纂你们支持团队的思维方式、内部业务流程，或是你们开发特定类型代码或应用程序的最佳方式，那这绝对会让“啤酒”更好喝。朝着这些应用程序真正完成工作的方向前进时，那些定制的业务逻辑或思维模型变得至关重要。当然，用户体验（UX）、用户界面（UI）以及分发也非常重要，但通用和定制之间需要做出区分。

03 智能体发展的未来想象

Pat Grady：假设自主智能体已经完美运行，这对世界意味着什么？如果真有那么一天，生活会有什么不同？

Harrison Chase：从高层次看，意味着人类将专注于不同的事情。目前很多行业都有许多重复的、机械的工作。智能体的理念，就是将这类工作自动化，使人们能够在更高层次上思考这些智能体应该做什么，并利用它们的输出进行更具创造性或更高效的工作。可以想象一个人创业，他可以将很多原本需要雇人完成的职能外包给智能体，比如市场营销、销售等，从而专注于战略思考和产品开发。总体来看，这将让我们专注于想做的和擅长的事，而将不必要的工作自动化。

Pat Grady：现在看到任何有趣的实例吗？比如已经在生产环境中运行的。

Harrison Chase：目前有两个主要类别在逐渐获得更多关注：一个是客户支持，一个是编程。客户支持是一个很好的例子。编程方面也很有趣，因为有些编程工作非常有创造性，需要很多产品思维和定位的考量，但有些编程工作则会限制人们的创造力。假设你的妈妈有一个网站的想法，但她不知道如何编码，要是有个智能体能完成这项工作，她就能专注于构思，而自动化其余部分。客户支持方面已经看到了较大影响，编程虽然还不够成熟，但也有很多人对此感兴趣。

Pat Grady：编程确实很有趣，让大家对未来充满乐观。它缩短了从创意到执行的距离，或者说从梦想到现实的距离。你可能有一个非常有创造力的想法，但没有工具去实现，而AI似乎非常适合解决这个问题。Figma的Dylan也提到了这一点。

Harrison Chase：是的，这又回到了自动化那些你不一定知道怎么做、或者不想做但又必须做的事情的理念。一直在思考的是，在生成式AI和智能体时代，作为建设者意味着什么。今天的软件建设者要么是工程师，要么雇用工程师。但在智能体和生成式AI时代，这意味着人们能够建造更多种类的东西，因为他们拥有更多知识和资源，可以廉价雇佣和使用。这也许像是某种智能的商品化——这些大语言模型提供了免费的智能，确实启发了很多新的建设者。

Sonya Huang：你提到了反思和链式思考等技术。能不能说说到目前为止，在这些认知架构方面学到了什么？你认为最有前景的认知架构是什么？

Harrison Chase：也许值得谈一下为什么AutoGPT这种方式不起作用，因为很多认知架构正是为了应对这些问题而产生的。最初的问题，是大语言模型甚至无法很好地推理出第一步该做什么。链式思考（chain of thought）这种提示技术非常有用，它给了LLM更多思考空间，逐步推理出该做什么。这种技术后来被更多地训练到模型中。

有一篇名为ReAct的论文，提出了第一种针对智能体的认知架构。它做了两件事：让LLM预测接下来的行动，同时加入一个推理组件——有点像链式思考，但在每一步之前都加入推理环节。这种显性推理步骤随着模型的训练变得越来越不必要，如同链式思考被训练进模型一样。即便如此，这种循环过程已经成为ReAct论文的代名词，也是智能体最初的难题之一。

现在这些问题部分得到了解决。剩下的主要难题是规划和完成任务的判断。规划是指模型在思考该做什么时，会有意或无意地制定一个计划，然后逐步执行。模型在长期规划和执行这些步骤时表现不佳，所以一些规划认知架构应运而生——比如在开始时明确要求LLM生成一个计划，然后逐步执行每一步。这确保了模型生成了一个长期计划并按步骤执行，而不是生成一个五步计划后只执行第一步就宣称任务完成。

另一个相关的问题是反思，即模型是否正确完成了任务。可以生成一个计划去获取答案，但可能得到错误结果。这种情况下不应该直接返回答案，而是应该反思是否正确完成任务。如果在循环中运行模型，只是要求它隐性地进行这些检查。一些认知架构加入了显性的反思步骤，在每个动作或一系列动作之后，要求模型明确检查自己是否正确完成了任务。

规划和反思是目前较为流行的通用认知架构。还有很多定制的认知架构，但通常与具体的业务逻辑紧密相关。总体来看，预期这些通用的规划和反思功能会逐渐被训练到模型中。

Pat Grady：在人工智能峰会上，你提到过用户体验的话题。通常我们会认为它是和架构相对立的——架构在幕后，用户体验是前端。但现在似乎出现了有趣的局面：用户体验可以通过影响架构的有效性来发挥作用，比如像Devin那样回溯到规划过程中的某个点，让用户及时发现问题并纠正。你能否谈谈用户体验在智能体或LLM中的重要性？分享一些有趣的案例？

Harrison Chase：对用户体验非常着迷，这确实是一个有待深入研究的领域。之所以如此重要，是因为LLM并不完美，仍然存在出错的倾向。正因为如此，聊天才成为某些初期互动和应用领域中如此强大的用户体验方式。用户可以轻松查看它在做什么，它会逐字流式返回响应，通过回复可以轻松纠正它，也可以轻松提出后续问题。聊天目前已经成为主流的用户体验。

但聊天也有一些缺点。它通常是一条AI消息，然后一条人类消息，人类始终处于循环之中——这更像是copilot的模式。让系统能逐渐脱离人类的干预，将使它能够完成更多任务。这极其强大且实用。话说回来，LLM并非完美，它们也会出错。那么如何平衡这两者？

Devin提到的一个有趣想法是，让系统拥有一个能够真正透明地列出智能体所做所有事情的列表。也就是说，用户应该能够知道智能体做了什么。这是第一步。第二步，则可能是能够修改它正在做或已经做过的内容。如果发现它在步骤三出现了问题，也许可以回溯到那里，提供新的指令，甚至进行编辑，就像手动决策一样，然后继续执行。

除了这种回溯和编辑之外，还有一些有趣的用户体验模式，比如消息收件箱的概念——智能体可以根据需要与人类进行互动。假设有10个智能体并行在后台运行，它们可能时不时需要向人类澄清问题。可以设置一个类似电子邮件收件箱的东西，智能体向用户发送求助信息：“我遇到问题了，需要帮助。”然后用户可以在此时介入提供帮助。

类似的还有审阅其工作成果。对于撰写不同类型内容的智能体、进行研究的智能体，这无疑非常强大。OpenAI研究人员开发了一个很棒的项目，围绕智能体拥有一些非常有趣的架构。这是一个非常适合审阅的场景。可以让智能体撰写初稿，由用户进行审阅并留下评论。实现方式有多种——最简单的一种是，用户直接留下大量评论，然后将所有评论まとめて发送给智能体，让它去逐条修正。

另一个非常有趣的是协同工作模式，类似Google文档，但由人类和智能体同时协作。比如用户留下评论，智能体在修正的同时，用户也可以继续添加其他评论。不过这是一个单独的用户体验模式，搭建和启动都非常复杂。

最后一个想谈的关于用户体验的想法是，这些智能体将如何从互动中学习。人类会不断纠正智能体或提供反馈。如果不得不100次重复提供相同的反馈，那会让人抓狂。因此，系统的架构该如何设计才能让智能体从中学习？这非常有趣。所有这些问题还有待解决，就像在玩一个超前的游戏，仍在尝试弄清楚很多问题，这也是花很多时间思考的内容。

04 仍待解决的现实问题

Pat Grady：这让我联想到，你似乎因为积极参与开发者社区、密切关注开发者们遇到的问题而略有名气。LangChain直接解决了一部分问题，但肯定还会遇到许多超出范围的问题。那么，在开发者尝试使用LLMs或构建AI时遇到的问题中，有哪些有趣的问题是目前没有直接解决的？

Harrison Chase：两个明显的领域是模型层和数据库层。没有构建矢量数据库，尽管认为合适的存储非常有趣。也没有构建基础模型，不做模型微调。虽然想要帮助数据整理方面的工作，但没有构建用于微调的基础设施。像Fireworks和其他类似的公司正在做这些事。对于人们当下遇到的问题而言，这些可能属于最迫切的基础设施层。

想补充一个问题或思考过程：如果智能体真的成为未来，那么将因此出现哪些新的信息问题？坦白说，现在谈论还为时尚早，因为智能体尚未足够可靠，无法形成庞大的智能体经济。但诸如智能体身份验证、智能体权限管理、智能体支付等问题都非常酷。

Sonya Huang：你提到了微调，而且不打算涉足这个领域。看起来提示工程和认知架构几乎是彼此的替代品。你如何看待当前人们应该如何使用提示工程与微调？未来会如何发展？

Harrison Chase：并不认为微调和认知架构是替代品，实际上它们在很多方面是互补的。因为当你有一个更定制化的认知架构时，要求每个智能体或每个节点执行的任务范围变得更有限，而这对于微调非常有趣。

Sonya Huang：也许在这个点上，你能谈谈LangSmith和LangGraph吗？你们没有解决哪些问题、正在解决哪些问题，以及这与讨论的智能体问题之间的关联？你们正在做的事情如何改善状态管理、让智能体更可控？产品如何帮助人们做到这一点？

Harrison Chase：先从LangChain刚推出时说起。LangChain开源项目解决并处理了几个问题。其中一个是标准化不同组件的接口——有大量不同模型、不同矢量存储、不同工具、不同数据库的集成。这一直是LangChain的重要价值所在，也是人们使用LangChain的原因之一。

LangChain还提供了很多更高层次的接口，便于现成使用，比如用于问答的RAG或SQL之类的东西。它还具有用于动态构建链的更低级别运行时环境。链可以称为DAG（有向无环图）。之所以要谈到LangGraph以及LangGraph为什么存在，是因为它要解决一个稍微不同的编排问题——即你想要具有循环的可定制和可控的元素。两者都在编排空间，但链和循环存在区别。

使用LangGraph并开始使用循环时，会出现许多其他问题。其中一个主要问题是持久层。持久层使你可以恢复，可以使其在后台以异步方式运行。因此，我们在越来越多地考虑部署那些长期运行、循环往复、让人参与循环的AI应用程序，也将越来越多地解决这个问题。

LangSmith贯穿于所有这些工作，从公司成立之初就在开发。它有点像LLM应用程序的可观测性和测试工具。从一开始就注意到，将LLM置于系统的核心位置时，LLM不是确定性的。为了让它们投入生产并充满信心，必须具备良好的可观测性和测试能力。因此开始构建LangSmith，它可以与LangChain配合使用，也可以独立使用。还有一些其他功能，比如提示管理、人类注释队列，以允许人工审核。这非常关键。重要的是要问：什么是这里真正的新东西？LLMs是不确定性的，因此可观察性变得更重要，测试也更难，需要人类更多地进行审核。LangSmith在这方面提供了很多帮助。

Pat Grady：你能谈谈现有的可观测性、现有的测试等，哪些适用于LLMs，哪些地方LLMs有显著差异需要新的产品、新的架构或新的方法吗？

Harrison Chase：从测试和可观测性两个方面考虑。可观测性方面，感觉更明显的是需要一些新的东西。对于这些多步骤的应用程序，不应该仅仅依靠现有级别的可观测性来获取洞见。许多现有的数据监控工具都很棒，但它们适用于特定的跟踪，却无法像LangSmith那样轻松地获得同等水平的洞见。很多人花时间查看特定跟踪，是因为他们想要调试特定跟踪出现的问题。在使用LLM时，所有非确定性因素都会发生。因此，可观测性方面总让人觉得需要一些新的东西来构建。

测试则非常有趣。关于测试，可能有两个新颖的独特之处。一个是成对比较的概念。运行软件测试时，通常不会比较结果，大多数情况下是通过或失败。即使进行比较，也通常是比较延迟峰值之类的东西，而不一定是两个单元测试的成对比较。但LLM的一些评估方法中，最受信任的评估方法是LLM竞技场，有点像聊天机器人竞技场风格，可以并排判断两个东西。这种成对比较的方式非常重要，与传统软件测试有相当大的区别。

另一个因素取决于如何设置评估方法，在任何给定时间可能都没有100%的通过率。因此，跟踪一段时间并查看是否有改进、或至少没有退步，就变得很重要。这不同于软件测试，软件测试通常要求一切都通过。

第三个方面是人力介入。仍然希望人类查看测试结果。也许这不是最恰当的措辞，因为查看这些内容需要大量的人力，但总体来说，这比拥有某种自动化系统更加可靠。如果将它与软件测试比较，软件可以像通过查看来判断2=2成立一样。弄清楚如何将人类纳入这个测试过程，确实是一件有趣、独特和新颖的事情。

Pat Grady：在AI领域中，你最崇拜谁？

Harrison Chase：OpenAI过去一年半的成就非常令人印象深刻。所以对Sam和团队中的每一个人都非常钦佩。Logan在那里的时候做得非常出色，向大家传递了很多概念。Sam显然在很多事情上功不可没。

还有一位鲜为人知的研究员Da vid Dohan，绝对令人难以置信。他早期写了一些关于模型级联的论文，在创办LangChain时就和他聊过，他对我思考问题的方式产生了深远的影响。非常钦佩他的做事方式。

此外，扎克伯格和Facebook，他们在Llama和许多开源项目上做得非常出色。作为CEO和领导者，他们公司所展现出的那种拥抱方式令人印象深刻，因此也非常钦佩这一点。

Pat Grady：有没有哪位CEO或领导者是你尝试效仿的，或者是从他们身上学到了关于领导风格的东西？

Harrison Chase：可能更偏向以产品为中心的CEO。观察扎克伯格很有趣。Brian Chesky也很有趣，他去年在红杉资本的活动上谈论产品和公司建设，非常欣赏他的思考方式。Brian可能是会想到的答案，但老实说，还没有深入研究过他所做的一切。

Pat Grady：如果你能给目前或有志成为AI创始人的人一个建议，你会说什么？

Harrison Chase：就去构建，去尝试构建东西。现在还处于非常早期，有很多东西可以去构建。GPT-5可能即将发布，它可能会让你们做的一些事情变得无关紧要，但在这个过程中你会学到很多东西。坚信这是一项变革性的技术。因此，学得越多，就越会从中受益。

Pat Grady：关于你的回答，有一个小小的轶事想分享一下，因为觉得很有趣。还记得2023年初的首次人工智能峰会上，刚开始更多地了解你。你那天一整天都在埋头写代码，尽管台上有人演讲。所以你的建议是“just build”，而你显然是自己建议的践行者。