跟AI说“出片穿搭”，它真能听懂！淘宝ShopX让大模型直接“卖货”了

大模型时代，电商的入口正在悄悄变化。过去，用户在搜索框里敲关键词，现在，越来越多的人开始像跟导购说话一样，直接表达需求：

“我周末去迪士尼，想要拍照好看、走一天也舒服，天气可能会下小雨，帮我搭一套。”

这可不是简单的关键词检索。它背后包含了场景、风格、天气、舒适度、搭配逻辑，甚至还有个人偏好。

更复杂的是，用户可能还会继续追问：

“这双鞋挺好看，再找几双类似的，但要更软一点。”

这时候，系统不仅要理解“更软一点”这个新要求，还得记住“这双”是哪双、用户为什么喜欢它，以及新推荐是否依然符合“迪士尼、拍照、走一天、小雨”这些原始约束。

而现实是，很多系统的处理方式是这样的：大模型负责理解意图、改写query，然后真正的商品检索和排序，交给外部搜推工具。等传到工具那里时，丰富的上下文已经被压缩成一串关键词——

“主题乐园穿搭 相似运动鞋 轻便防水 软”

这个现象，其实有个专门的术语——

。当购物意图从大模型传递到外部检索系统时，复杂的场景信息不可避免地会“缩水”。

为了解决这个问题，团队提出了

：一个面向agentic shopping的电商大模型。它不是在搜索框外面套一个会“说话”和“调用工具”的LLM，而是让模型直接进入商品空间，成为商品履约的核心——在商品空间里规划、检索、排序、组合、生成结果，从而减少接口损耗。

背景

从技术视角来看，ShopX关心的是如何让模型更可靠地把用户意图转化成商品结果，而不是让模型“更会聊天”。传统的tool-mediated方案，把复杂的购物意图拆成自然语言理解、query改写、检索、排序等多个外部环节，模型和商品空间之间始终隔着工具接口。一旦购物需求变成多轮、场景化、个性化的Agentic Workflow，接口损耗就会被持续放大。

这种损耗的根源在于：用户表达的是一个完整的购物任务，而工具接口接收的往往是被压缩后的检索条件。大模型可以理解“适合下雨天去乐园、走路不累、还要拍照好看”背后的场景和取舍，但一旦进入外部搜索链路，这些软约束、搭配关系和历史偏好，往往会被拆成几个关键词或过滤条件，在后续的排序、组合和解释中难以持续生效。

所以，AI购物模型需要从

，进一步走向：既要理解自然语言，也要知道商品之间的相似、替代、互补和组合关系；既要能给出商品，也要能在多轮反馈中稳定保留用户偏好。ShopX正是在这个背景下推出的模型原生商品履约框架。

ShopX：模型原生的商品履约框架

Overview

ShopX的核心思路很直接：

ShopX的架构可以拆成两部分：一个核心模型，和一个轻量级的Serving Harness。Harness提供三大服务模块——用户画像（Context）、商品目录映射（Catalog）和多轮状态（State）。模型按Plan→Execute→Fulfill→Update四步完成每轮交互，支持三种服务模式：显式购物请求的Intent-to-Item Fulfillment、模糊请求的Context-Augmented Personalization、以及跟进修改的Stateful Multi-Turn Fulfillment。

ShopX不是那种“聊天外壳”，也不是只会生成商品ID的召回模型，它更像是一个能够真正在购物场景中履约的模型：既能理解自然语言，也能直接操作商品空间，还能把推荐结果稳定地绑定到真实商品目录上。根据不同请求，它可以完成SID Beam Search检索、Listwise排序选品、种子商品扩展、跨品类搭配组合、商品对比、文本与SID交织回复，以及追问澄清和偏好记忆更新等多种履约操作。

Semantic ID：商品语言

每个商品被编码成一段

，加入大模型词表。ShopX关心的不是“怎么给商品编号”，而是什么样的SID才能支撑大模型完成从意图到商品的履约。它强调两点：（从SID可以推断商品的品类、属性、风格）和（适合大模型的自回归生成范式）。

构建过程分两步。第一步，用Qwen3-VL-Embedding-2B统一编码商品图片、属性和标题，采用Equivalent-Product Supervision + Soft InfoNCE contrastive learning，输出全局向量（路由）和多个局部向量（细粒度语义）。第二步，采用Global+Local混合编码：2级全局前缀（RQ-VAE）负责稳定路由，4级局部后缀（VQ）补充细粒度语义。每级codebook 8192，总共新增约5万个SID token。

对比纯全局方案，混合编码把单个SID平均挂载的商品数从126.5降到了13.8，区分度提升了近10倍，同时语义恢复能力（SID→Desc ROUGE）从25.5提升到了31.5。

四阶段训练：模型不止是个SID预测器

ShopX的训练难点不只在于让模型学会预测SID，而是要在进入商品空间的同时，保留购物Agent需要的通用指令跟随、多轮对话、画像理解、排序、解释等能力。基座模型是Qwen3（4B/8B），分四阶段逐步训练：

• 对齐阶段：
  冻结原模型，只训练新增的SID token embedding，建立编码与商品描述的双向映射。Ablation实验验证了这一步是后续CPT的必要前置。

• 领域持续预训练：
  注入电商领域知识（商品目录与SID对应、意图/行为到商品映射、用户偏好理解），同时混入通用数据防止灾难性遗忘，领域与通用数据比例2:1，总计约114B token。

• 指令微调：
  把领域知识转化为任务格式。通用数据占比约75%（指令跟随、多轮对话、工具调用、数学推理、代码生成），电商数据约25%（SID原生履约、上下文理解、购物对话），避免模型退化成一个纯粹的SID预测器。

• 多教师在线蒸馏与强化学习：
  这是核心创新阶段。如果只强化SID预测，模型会更会“找商品”，但可能丢掉对话、画像抽取、排序和解释能力。团队把训练样本路由到五个task family，每个都使用不同的teacher+reward组合。

Post-training ablation验证了这套设计的有效性：纯SID微调后，画像提取和排序能力直接归零（seesaw effect）；逐步加入三个教师和三种reward后，各维度分别恢复和提升，且互不干扰。

实验结果

框架级评估

基于淘宝真实匿名日志（279单轮+80多轮），对比ShopX与Chat-REC/RecMind/InteRecAgent。三个baseline都使用Qwen3-8B+淘宝线上搜索服务（经过多年迭代、服务亿级用户的成熟检索排序系统），baseline的搜索后端本身就很强。评估采用Rubric-based LLM Judge，覆盖意图满足、商品精度、约束遵守、反馈响应、跨轮引用等八个维度。

下表选取五个最具区分度的指标：

衡量用户购物意图是否被成功转化为满意的商品结果；衡量推荐商品与用户目标品类的匹配度；衡量对用户显式约束（如价格、品牌、功能要求）的遵守程度；衡量用户给出反馈后模型能否有效修正推荐且不丢失已有偏好；衡量用户引用前几轮推荐的商品时，模型能否正确解析并执行对应操作。

ShopX在单轮Intent Fulfillment上略低于Chat-REC（69.2 vs 72.2），说明tool-mediated方案配合强搜索后端在直接请求上仍有竞争力。但ShopX的核心优势体现在多轮有状态交互中：Feedback Adaptation领先11.7分，Cross-turn Reference领先20.8分。当用户需求涉及多轮反馈、商品引用和场景约束时，interface loss会被放大，而模型原生履约能更稳定地保留上下文。

能力分解

购物能力全面提升（vs Qwen3-8B）：

（理解商品间替代/互补关系）从28.3提升到49.7（+21.4）、（从用户行为历史中选出与当前请求相关的信号）从16.1提升到52.7（+36.6）、（从用户画像中提取有用信息）从52.9提升到76.9（+24.0）、（从SID反向恢复商品语义信息）从10.1提升到33.2（+23.1）。

通用能力大部分保持：BBH（综合推理）74.1（+0.9）、CMMLU（中文知识）75.8（+1.6）、GSM8K（数学推理）88.6（+0.4）、MBPP+（代码生成）83.1（+8.0）。在指令遵循和复杂通用任务上有一定下降：IFEval（指令跟随）78.4（-3.5）、MMLU-Pro（多学科知识）59.3（-3.6）、MATH-500（竞赛数学）59.6（-16.6）、GPQA-Diamond（研究生级科学问答）41.4（-6.1），说明高难度推理和数学是领域训练的代价区，但这些能力对购物场景来说并非核心。

Case分析

文章提供了ShopX与Tool-mediated baseline的逐轮对比Case，覆盖单轮和多轮场景。这里各选一个最有代表性的。

用户希望同时购买，本质上属于典型的Bundle Shopping。传统Agent往往围绕主商品发起独立搜索，容易忽略手套等互补商品，只能完成部分需求。相比之下，直接理解用户的整体购物目标，在Item Space中联合规划多个商品类别，一次性生成完整的骑行装备组合，实现真正的。

在多轮对话中，用户不断基于上一轮推荐补充新的需求，而不是重新开始购物。传统Tool-based Agent每轮通常需要重新检索，容易丢失已确定的商品和用户偏好，导致推荐逐渐偏离需求。将整个购物过程建模为持续演化的状态，在保留历史推荐和已确认约束的基础上，仅针对新增需求进行调整，实现，让推荐在连续对话中保持一致性和连贯性。

团队介绍

这项研究来自淘天AI搜团队以及推荐内容理解、阿里巴巴Token Foundry事业部、ROLL团队。

该团队重点探索电商搜索从“关键词匹配”向“自然语言理解、意图推理和智能履约”的升级，让模型更好地理解复杂购物需求、多轮上下文和真实商品空间。

研究方向包括：

• AI Search & Agentic Shopping：
  面向自然语言购物需求的意图理解、搜索规划、多轮澄清与商品履约

• 生成式推荐：
  基于大模型架构的生成式召回、商品履约，以及商品、图片、视频等多模态内容的Semantic ID构建与工业化

• 多模态表征学习：
  商品图文融合表示、跨模态检索与匹配