AIOS: 一个大模型驱动的Multi-Agent操作系统设计与Code分析（约5000字）

虽然AIOS设计的是一个LLM Agent操作系统（OS），将LLM作为OS的大脑（一个有灵魂的OS），奔着AGI去的，但是就落地实处的角度出发，抛去OS，它作为一个Multi-Agent框架蛮好的。

大型语言模型（LLM）为基础构建智能体，到底难在哪？简单说有三座山：一是请求调度和资源分配效率低，LLM时常被排队堵住；二是智能体与LLM交互时上下文管理混乱，容易丢失状态；三是不同能力、不同专长的异构智能体要集成在一起，复杂度陡升。而且随着智能体数量和规模的膨胀，这些瓶颈只会越来越严重。

AIOS架构设计

背景

拿旅行智能体举个例子——用户提出一个行程安排请求，智能体需要把任务拆解成可执行的步骤：订航班、订酒店、处理支付，还要根据用户偏好更新日历。每一步都涉及推理和决策，这与传统软件应用那种“固定功能、固定流程”的路子完全不同。在这个过程中，智能体既要调用LLM服务（理解偏好、决定调哪个API、生成响应），又要和底层操作系统交互（访问磁盘、执行软件）。这正是传统操作系统无力应对的场景。

图1展示的就是这个激励性例子：智能体在完成任务时需要LLM级别和操作系统级别两套资源和功能。

，展示了智能体（例如，旅行智能体）在完成任务时需要LLM级别和操作系统级别的资源和功能。

AIOS架构

为了应对上述挑战，AIOS应运而生——一个专门为LLM智能体设计的操作系统（见图2）。它的核心思路是：模块隔离 + LLM与操作系统功能的聚合。具体来说，设计了一个“LLM内核”，把类似操作系统的职责单独拎出来，专门负责LLM智能体、相应资源和开发工具的监督。有了这种分离，LLM相关活动的管理和协调能力直接拉满。

在这个LLM内核里，有几个关键模块，每个都聚焦一个特定功能：

• 智能体调度器
  （Agent Scheduler）：优先级排序和调度智能体请求，优化LLM的利用。

• 上下文管理器
  （Context Manager）：支持LLM中间生成状态的快照与恢复，以及上下文窗口管理。

• 内存管理器/短期记忆
  （Memory Manager）：为每个智能体的交互日志提供短期内存。

• 存储管理器/长期记忆
  （Storage Manager）：把智能体交互日志持久化到长期存储，方便后续检索。

• 工具管理器
  （Tool Manager）：管理智能体对外部API工具的调用（搜索、科学计算等）。

• 访问管理器
  （Access Manager）：在智能体之间执行隐私和访问控制策略。

智能体调度器（Agent Scheduler）

它的核心任务是管理智能体的请求，让LLM的利用率最大化。调度策略可以选FIFO、轮询等算法。传统顺序执行模式里，任务一个接一个线性跑，后面的任务等得心焦。而智能体调度器采用并发执行，用时间线交错处理不同智能体的任务，谁也别想独占资源，同时把空闲时间压到最低。

上下文管理器（Context Manager）

这个模块处理LLM生成过程中的上下文和状态。两个核心功能：上下文快照与恢复，以及上下文窗口管理。

快照和恢复机制允许系统在智能体请求被挂起时（哪怕LLM还没生成完响应），保存当前生成状态。等资源腾出来了，直接从保存的断点恢复，不丢进度。上下文窗口管理则针对超长上下文——超出LLM处理能力时，通过文本摘要和扩展技术来压缩或扩充信息，既保完整性又保相关性。

，使用束搜索（束宽=1）作为示例搜索算法来说明这个生成性解码过程。

工具管理器（Tool Manager）

工具管理器负责管理和调用外部API，为LLM“加buff”。它把来自不同来源的常用工具分类归案：网络搜索、科学计算、数据库检索、图像处理……覆盖文本和图像多模态。维护一个工具列表，每个工具都标注了输入、输出格式。比如搜索引擎API（Google、Bing）用来搜信息，Wolfram Alpha做数学计算，还有数据库查询、维基百科、图像去噪分类等等。

，最后一列显示了每个工具所需的输入和输出格式。

Multi-Agent框架Code设计

框架概览

代码已经开源，项目地址：https://github.com/agiresearch/AIOS/tree/main/src。抛开OS的视角，它本身就是一个相当完整的Multi-Agent框架，包含六大模块：

• agents
  ：管理不同智能体应用，目前有数学智能体（MathAgent）、小说智能体（NarrativeAgent）、推荐餐馆/酒店智能体（RecAgent）、旅行规划智能体（Tra velAgent）。每个智能体都有自己的描述和流程，例如Tra velAgent的flow定义得非常详细——从解析目的地到估算交通成本、安排餐饮和景点，一步步走完。

• llm
  ：负责接入不同的底座大语言模型，比如gemma-2b-it、Llama-2-13b-chat、Mixtral-8x7B。配置灵活，用JSON指定模型类型和是否开源。

• scheduler
  ：调度器——对不同agent进行调度，调用LLM执行具体任务。核心是一个BaseScheduler类，有启动、停止、执行请求的方法，在AgentProcess中记录起止时间和状态。

• memory/storage
  ：短期记忆与长期记忆。实现不复杂：短期用dict在内存里检索，长期用数据库或文件持久化。

• tool
  ：工具模块目前实现了8个工具，比如论文搜索（arxiv）、网页搜索（Bing/Google）等。每个工具封装了API接口url、参数配置、执行逻辑和结果解析，代码结构清晰。以BingSearch为例，继承BaseTool，配置订阅密钥和搜索参数，然后执行HTTP请求返回结果。

智能体的主要能力包括：工具调用、工具参数解析、prompt拼接、LLM执行（由调度模块执行agent_process）、答案总结，以及flow工作流执行（按step依次推进）。BaseAgent类提供了通用的get_response、check_tool_use、get_tool_arg、get_final_result等方法，子类可继承复用。

code总结

AIOS中介绍的各模块在仓库里都有实现，感谢开源贡献。一些细节后续还会继续完善，比如长短记忆如何和agent深度融合，以及agent更强的tool调用实现。如果对Agent发展与案例有进一步研究的兴趣，可以参考原始论文：

AIOS: LLM Agent Operating System
https://arxiv.org/pdf/2403.18243.pdf