浙大提出Skill-3D：场景感知进化的智能体

在三维场景理解这件事上，大模型正在变得越来越像“智能体”：它看得懂图、听得懂问题，还能主动调用外部工具，最后根据工具返回的结果给出答案。举个例子，你要问“桌子和浴缸之间的距离是多少”，模型可能会依次调用目标检测、深度估计、三维重建这些工具；要是改问“椅子相对于桌子在什么方向”，它又得结合物体定位和方向估计才能作答。

一个很常见的现象是：模型确实会调用工具，但它常常分不清“这个问题到底需要什么样的证据”。有些任务要求精确的边界和深度，有些需要跨视角匹配，有些涉及方向关系，还有一些只是简单计个数。如果模型对所有问题都套用相似的流程，那结果往往是——工具用了，但用不对地方。

• 论文链接：https://arxiv.org/pdf/2606.07436

• 项目主页：https://skill-3d.github.io/

从“工具可用”到“技能可复用”

现有的工具增强型多模态智能体，通常只关注一个问题：如何让模型调用外部工具？这当然重要，但在3D空间推理中，仅仅会调用还不够。更关键的是——模型能否根据当前场景和问题，选择合适的工具组合，并把工具结果转化为可靠的空间证据。

注意，这里的“技能”不是简单的提示词，也不是一整条原始轨迹，而是一种压缩过的工具使用经验。比如说，针对“物体间距离估计”这个任务，一个有效的技能可能包含：先理解场景与目标物体，再用目标检测定位边界，随后结合深度估计或三维重建获得距离线索，最后根据最近点距离输出答案。而对于“多视角物体计数”任务，另一个技能则强调跨视角去重，避免把同一个椅子在不同视角中的出现重复计算。换句话说，Skill-3D 不让模型每次从零开始试错，而是让它先回忆：以前遇到类似场景和问题时，什么工具流程是有效的，什么错误需要规避。

Skill-3D 如何工作？

首先，系统会从不同空间推理任务中收集工具使用轨迹。这些轨迹包括模型分析场景、选择技能、调用工具、整合工具证据并输出答案的全过程。成功轨迹会被压缩成可复用的动态技能，失败轨迹则被保留下来，作为教训（lesson）或兜底规则（fallback rule），提醒模型在类似情况下避免重复踩坑。

接着，Skill-3D 构建一个统一的 Skill Library。这个技能库同时包含静态技能和动态技能。静态技能来自预先定义好的任务先验，比如距离估计、物体计数、方向判断等；动态技能则来自历史成功经验。与那种只针对单一任务存储记忆的做法不同，Skill-3D 使用一个共享技能库，所以从一个任务中学到的工具使用经验，完全可以在另一个相似场景中被重新调用。

最后，在推理时，模型不会把整个技能库从头到尾读一遍，而是根据当前的场景-任务上下文（scene-task context）检索最相关的技能。它会进一步选出一个紧凑的技能子集，并据此规划工具调用流程。这里的目标不是调用更多工具，而是调用更对路的工具。

为什么这件事重要？

比如在距离估计任务中，只做粗略的三维重建可能会得到一个看似合理但不够准确的答案。如果问题要求的是“两个物体最近点之间的距离”，模型还需要弄清楚物体边界在哪里，再结合局部深度信息做判断。再比如物体计数任务，如果模型只依赖多个视角中的视觉出现次数，就可能把同一个物体重复算进去。这时候，跨视角一致性和实例级定位就变得非常关键。

实验结果：提升的不只是准确率，还有工具使用质量

结果显示，Skill-3D 在闭源模型和开源模型上都带来了稳定提升。

在闭源模型这边，Skill-3D 在 GPT-4o、GPT-5.4、Gemini-2.5-Pro 和 Gemini-3-Flash 上均超过了无工具基线、直接工具调用基线以及 Think3D。尤其是在 VSI-Bench 上，任务类型覆盖物体计数、绝对距离、物体大小、房间大小、相对距离、相对方向、路线规划和出现顺序等多个维度，对工具选择提出了更高要求。Skill-3D 的优势说明，性能提升并不只是来自“多用了工具”，而是来自更符合任务需求的工具使用流程。

在开源模型实验中，进一步将 Skill-3D 应用于 Qwen3-VL-4B 和 Qwen3-VL-8B。实验表明，经过技能引导的后训练后，较小规模的开源模型也能学到更好的工具选择和证据整合能力。8B 模型整体表现更强，说明更大的基础模型更容易利用检索到的技能和工具证据；而 4B 模型同样获得稳定提升，则说明 scene-aware skills 对小模型也具有不错的迁移价值。

除了准确率，还关注了一个指标叫 Effective Tool Usage，也就是工具调用是否真正返回了有效证据，并被后续推理使用。实验显示，Skill-3D 显著提升了有效工具使用率。这一点很关键，因为在真实应用中，工具调用通常意味着额外成本。如果模型只是盲目增加调用次数，即使偶尔提高准确率，也未必能形成一个可持续的智能体方案。Skill-3D 更强调的是“工具调用的质量”。

案例：同样是工具调用，差别在于是否知道证据需求

在一个判断物品出现先后顺序的案例中，模型需要在视频时间轴上持续追踪候选物体，判断每个类别第一次可见的时刻，并避免把局部遮挡、相似区域或后续重复出现误判为首次出现。普通工具调用方法容易只基于某一帧或少量关键帧做判断，从而忽略时间顺序信息。而 Skill-3D 检索到相关技能后，选择了 Object Detection 与 Image Segmentation 作为主要工具。最终，模型能够基于跨帧检测结果和分割证据来判定各类别的首次出现顺序，而不是仅依赖单帧的视觉印象。这个案例说明，Skill-3D 并不是简单地把外部工具接到大模型后面，而是在学习一种更结构化的空间推理习惯：先判断问题需要什么证据，再选择工具，最后整合结果。

总结

Skill-3D 试图回答一个更实际的问题：当多模态大模型拥有越来越多外部工具时，如何让它们更可靠地使用这些工具？答案是：让智能体从历史经验中学习可复用的场景感知技能。相比每次从零开始规划，Skill-3D 通过 Scene Memory 和 Skill Library 把成功经验与失败教训沉淀下来，并在新任务中检索和复用。实验结果表明，这种方式能同时提升3D空间推理准确率和有效工具使用率，也能迁移到较小规模的开源模型中。随着多模态智能体逐渐走向真实三维环境，未来的关键可能不只是“能不能调用工具”，而是“能不能在合适的场景中，用合适的工具，获取合适的证据”。Skill-3D 正是在这个方向上的一次探索。