MemGUI-Agent - 浙大联合快手推出的长程手机GUI智能体

MemGUI-Agent是什么

先说一个核心判断：当手机端的自动化任务从三五步扩展到三五十步时，传统的ReAct架构就有点力不从心了——历史记录会像滚雪球一样线性膨胀，关键信息被不断稀释。而MemGUI-Agent的解法，是通过一套名为ConAct的协议，让模型在每走一步时，一边决定怎么操作界面，一边决定怎么整理记忆。这样一来，上下文管理不再是被动的副产品，而是主动的策略输出，整个流程变得紧凑且干净。

MemGUI-Agent的主要功能

• 长程任务执行
  ：能扛得住跨App、跨页面的复杂流程，平均一条轨迹超过30步操作。

• 主动上下文管理
  ：通过ConAct协议，Agent自己决定什么时候该压缩历史、什么时候该记下UI事实、怎么描述当前这一步。

• 结构化记忆操作
  ：原生支持memory_add、memory_update、memory_delete这些记忆动作，价格、电话、规格这些关键UI事实能持久保存。

• 端到端模型训练
  ：提供了基于Qwen3-VL-8B的LoRA微调版本MemGUI-8B-SFT，8B参数就能搞定长程任务。

• 全链路开源
  ：代码、数据集、训练和评测的pipeline，外加模型权重，全部开放。

MemGUI-Agent的技术原理

核心在于ConAct（Context-as-Action）这套框架。它把上下文管理从传统的“外部规则模块”或“后处理总结器”里解放出来，提到了和UI点击、滑动、输入同样的位置。换句话说，模型在每一步推理时，需要主动决定：该压缩什么历史？该记住什么UI事实？该怎么描述当前这一步？这样，上下文更新就成了一种可以被执行、可以被训练的策略输出。

具体来说，Agent维护着三个互补的状态字段。Folded Action History负责把已经完成的子任务段落压缩成可复用的摘要，防止历史线性膨胀；Folded UI State专门持久保存跨屏幕的关键事实，确保几十步之后还能精准检索；Recent Step Record则记录最近一步的屏幕观察、动作意图、执行动作和结果，为后续的折叠和记忆写入提供原始素材。

每一步的输出也变成了五个结构化的段落：thinking、folding、tool_call、ui_observation和action_intent。这里的tool_call可以是常规的UI操作，也可以是memory_add、memory_update、memory_delete这些显式记忆操作——这比单纯做界面操作多了一层“思考痕迹”。

如何使用MemGUI-Agent

• 克隆开源代码
  ：从GitHub仓库 github.com/kwai/MemGUI-Agent 拉取完整代码与训练评测pipeline。

• 下载数据集
  ：在HuggingFace上获取MemGUI-3K数据集。

• 加载模型权重
  ：从HuggingFace下载MemGUI-8B-SFT。

• 配置Android环境
  ：连接真机或启动模拟器，部署Agent执行环境。

• 输入任务指令
  ：用自然语言描述长程目标，Agent会自动规划并执行。

MemGUI-Agent的核心优势

• 上下文成本显著降低
  ：在150步的长程场景里，ConAct比ReAct平均节省约1500个输入token，有效抑制线性增长。

• 关键信息精准留存
  ：通过UI State持久保存完整事实，长程任务中常见的信息稀释和幻觉问题得到缓解。

• 小模型大能力
  ：8B模型经过MemGUI-3K训练后，在长程基准上超过了多数32B甚至235B的基线，部署成本低，效果却不含糊。

• 分布外泛化优异
  ：MemGUI-8B-SFT在MobileWorld上取得了17.9%的成功率，比基线提升了8.5个百分点，跨场景迁移能力很强。

• 全链路可复现
  ：从数据构造、模型训练到评测协议全部开源，研究门槛被大幅降低。

MemGUI-Agent的项目地址

• 项目官网
  ：https://memgui-agent.github.io/

• HuggingFace模型库
  ：https://huggingface.co/collections/lgy0404/memgui-agent

• arXiv技术论文
  ：https://arxiv.org/pdf/2606.19926

MemGUI-Agent的同类竞品对比

MemGUI-Agent的应用场景

• 跨App信息整合
  ：从电商、地图、社交App收集信息，自动汇总到笔记软件里。

• 长表单填写
  ：根据邮件、通讯录、日历等多源信息，自动完成复杂的注册或报销流程。

• 联系人管理与更新
  ：从社交媒体帖子中提取新的电话或邮箱，自动更新通讯录并发送信息。

• 商品比价与记录
  ：浏览多个电商平台，记录价格和规格参数，生成一份对比文档。

• 自动化测试与RPA
  ：在移动端执行长链条的UI回归测试，或者落地企业级的流程自动化。