生成式推荐系统与京东联盟广告-综述与应用

先说几个核心判断：大型语言模型（LLM）正在从底层重塑自然语言处理（NLP）的格局，而这种影响力的外溢，已经让推荐系统（RS）这个领域的人坐不住了。推荐系统，本质上就是为了应对信息过载而生的，它早已深度嵌入我们的日常——从刷短视频到逛电商，背后都是推荐算法在默默运作。那么问题来了：能不能用LLM把推荐系统重构一遍？这个方向听起来诱人，实际上也不乏研究探索[20, 25]。

这篇文章，我们就从生成式推荐系统的底层逻辑讲起，落地到京东联盟广告这个具体的业务场景。先理清两者结合的动机和策略，再系统回顾当前的主流方法，最后把我们自己的实践和实验细节都摊开来。希望能给广告领域的推荐系统带来一些新的思路。

一、背景

生成式推荐系统

什么叫生成式推荐系统？简单说，就是让模型直接“生成”推荐结果，而不是把物料库里的每一个候选都算一遍分数再排序[25]。传统推荐系统面对数千万甚至数亿的物料，必须走一条迂回的路：先召回，再粗排、精排、重排，一步一步把候选集砍到几百个，然后才能上复杂的算法。不是不想一步到位，是响应时间这堵墙摆在那里，复杂算法根本算不过来的。

LLM的出现，让“一步到位”有了可能。相比传统RS，生成式推荐系统的优势相当明确：

• 流程简化
  ：LLM直接输出要推荐的物料标识，不需要挨个打分。本质上是从“多级过滤（判别式）”变成了“单级生成（生成式）”。模型在每一步解码时，输出的是词元上的概率分布，经过若干步，这些词元拼起来就构成了目标物料的完整标识符。整个过程隐式地枚举了所有候选，但效率极高[25]。

• 泛化性和稳定性更强
  ：LLM肚子里装着世界知识和强大的推理能力，冷启动场景、新用户、新物料这些传统推荐头疼的问题，它反而能hold住。特征处理策略也不用跟着场景换着花样折腾了，训练数据量减少，模型更新频率降低，系统自然更稳。

• 图1. 传统推荐系统与基于LLM的生成式推荐系统的流程比较[25]

京东联盟广告

京东联盟，本质上是京东的站外CPS联盟营销平台。合作伙伴通过联盟生成的链接，在站点、公众号、社群里推广京东商品，用户点击购买后，推广者拿到用金分成。对京东来说，这是用真金白银换流量，扩大站外可见度，拉新促活。

联盟广告推荐的难点在哪里？核心是：目标用户多为低活跃度用户，且场景多样。具体来看：

• 数据稀疏
  ：低活跃用户留下的交互数据太少，传统基于ID的模型很难学好物料和用户表征，预测精度自然打折扣。

• 冷启动严重
  ：没有历史交互，推荐系统基本抓瞎，个性化无从谈起。

• 场景理解困难
  ：不同推荐场景下用户需求差异巨大，对于低活用户，光靠有限数据根本判不准。

• 多样性与新颖性
  ：低活用户更需要新鲜感，但了解的少，推荐系统连准确都难保证，更别提平衡多样性与准确性了。

京东联盟广告 × 生成式推荐系统

把LLM融入推荐系统，最大的红利在于它能够提取高质量的文本表示，利用编码好的世界知识来理解用户和物料。相比传统RS，基于LLM的模型对上下文信息的捕捉能力要强得多。有了这种理解能力，推荐准确性和用户满意度自然水涨船高。更关键的是，面对冷启动和数据稀疏这些硬伤，LLM凭借零样本或少样本推荐能力，可以推广到从未见过的新物料和新场景——它靠的是预训练阶段沉淀下来的事实知识、领域常识和推理能力，迁移和扩展能力非常扎实。

从这个角度看，京东联盟广告几乎是生成式推荐系统的天然试验场。

二、生成式推荐系统的四个环节

要把这套范式从理论变成现实，绕不开四个基本环节[26]：

1. 物料表示
   ：直接生成物料描述（比如完整文案或商品详情）是行不通的，必须用短文本序列来唯一标识物料，这个序列就是物料标识符。

2. 模型输入表示
   ：通过提示词定义任务，把用户画像、历史行为等用户相关信息转换成文本序列。

3. 模型训练
   ：输入（用户表示）和输出（物料标识符）确定后，直接基于“下一个词元预测”这个任务来训练。

4. 模型推理
   ：训练完成后，模型接收用户信息，预测物料标识符，再映射回真实物料。

看着不难？其实每个环节都藏着很多细节需要权衡。下面逐一梳理现有探索：

物料表示

物料通常包含多模态信息，比如视频缩略图、音乐音频、新闻标题。要让生成式推荐能跑起来，物料标识符必须在文本空间中完整刻画物料的复杂特征。好的标识符至少满足两个标准：

，降低生成难度；，让相似物料共享尽可能多的token，不相似的共享尽可能少。以下是几种主流构建方法：

传统RS最常用的数字ID，在生成式系统中也可以沿用。但注意，传统系统是把每个数字ID当做一个完整且不可分割的token，直接塞进模型，内存开销大、训练数据需求高。生成式系统的做法是把数字ID分割成多个token组成的序列，这样用有限的token就能表达无限多的物料。具体策略有几种：

，按照时间顺序用连续数字（如1001、1002）表示物料，可以捕捉共现关系；，基于共现矩阵或协同过滤信息构建标识符，让经常一起被点击的物料拥有相似的前缀。数字ID效果不错，但天然缺乏语义信息，冷启动时容易翻车，也没法充分利用LLM里的世界知识。

这是解决数字ID“没文化”问题的一个思路：直接用物料的文本属性——电影标题、产品名称、书籍名、新闻标题——来做表示。这样一旦跟LLM结合，模型就能借助预训练的世界知识来理解物料特性。但问题也显而易见：

，生成计算成本高，且仔细核查长文本是否存在或相关，又回到了判别式推荐的套路；，“苹果”可以是水果也可以是公司，啤酒和尿布是两个名字完全不同但相关性极强的商品[25]。

既要语义，又要区分性，那就得在向量离散化上做文章。目前主要有两条路：

• 基于RQ-VAE模型[8]
  ：RQ-VAE由编码器、残差量化和解码器三部分组成。输入是从预训练LLM（比如LLaMA[9]、BERT[28]）提取的物料语义向量，输出是物料对应的token序列。TIGER[7]是这一分支的代表工作，直接用物料文本描述生成token序列，命名为Semantic ID。LC-Rec[4]设计了多种微调任务，让Semantic ID跟用户交互数据或物料文本描述对齐语义。LETTER[6]更进一步，整合层次化语义、协同信号和编码分配的多样性。

• 基于语义层次化聚类
  ：ColaRec[1]先用协同模型编码物料，再用k-means做层次化聚类，聚类类别做标识符，后续通过微调对齐语义与交互信息。Hi-Gen[5]则更激进，在标识符生成阶段就把交互信息和语义信息通过metric learning融合在一起。

三类方法的对比如下：

表1. 不同离散化物料表示方法的对比

模型输入表示

输入部分由三块拼起来：

、（历史交互数据 + 用户画像）、。

任务描述的目的是把推荐任务建模为“下一个物料预测”（Next Item Prediction），类比语言模型的Next Token Prediction。典型的提示词模板长这样：“这是一个用户的历史交互数据：{historical beha vior}，他的偏好如下：{preference}，请提供推荐。”[26]

历史交互数据的表示与物料表示方法紧密相关。当前有三种主流表示方式：物料数字ID序列（LLM当纯文本处理，分词器切分）、物料文本序列（拼接文本元数据，利用世界知识建模相关性）、物料文本向量+物料ID向量序列（LLaRA[2]的做法，在标题向量后拼接ID向量，补充协同信号）。

基础信息如性别、年龄段、职业等，通常可以直接从平台获取，与描述性文本结合使用（比如“用户描述：女性，25-34岁，在销售/市场营销领域工作”）[26]。当然，隐私问题也会限制画像数据的获取，这种情况下有些研究直接用用户ID或ID向量[3]来做用户建模。

上下文信息——位置、场景、时间——对用户决策的影响不言而喻。推荐户外用品时，用户买帐篷的概率远高于买水龙头。把时间这样的上下文信息融入LLM，能提升用户理解的精准度。此外，外部知识（比如用户-物料交互图中的结构化信息）也能为生成式推荐模型提供额外增益。

模型训练

在推荐数据上训练生成式推荐模型，主要分两步[26]：

：把推荐数据转换成带有文本输入和输出的样本。输入和输出取决于任务定义和物料表示方法。基于数字ID或文本元数据的方法，可以直接构建文本数据；基于语义ID的方法需要先训练获取标识符。模型优化方面，给定<输入，输出>对，训练目标就是最大化条件似然。

生成式推荐系统的主任务是“用户到物料标识符的训练”——输入是用户信息，输出是下一个物料的标识符。数字ID和文本元数据的方法直接走这条路。语义ID方法因为语义ID和自然语言之间存在鸿沟，还需要借助辅助任务来增强对齐[4]：一种是“物料文本 ↔ 物料标识符”的双向任务，输入输出可以是标识符或文本，互换使用；另一种是“用户到物料文本”，通过配对用户信息和下一个物料的文本内容来隐式对齐标识符和文本。训练像LLaMA这种大语言模型时，参数高效微调、模型蒸馏、推荐数据筛选都是提高效率的常用策略。

模型推理

推理阶段，生成式推荐系统需要通过束搜索自回归地生成物料标识符，然后跟数据集里的真实物料做关联。这里的生成方式分两种：

和[26]。

自由生成在每个解码步中，模型在整个词表里搜索，选概率最高的前K个token作为输入。但问题来了：在整个词表上搜索，很可能生成了数据集里根本不存在的标识符，推荐就变成了空炮。早期做法是自由生成后做精确匹配，丢弃无效标识符——准确率自然低，尤其是基于文本元数据的情况。BIGRec[23]提出了一种改进：通过生成的token序列的表示与物料表示之间的L2距离，把标识符定位到有效物料上，确保每个生成结果都有对应。同时，受限生成也被广泛使用，比如用Trie（前缀树）或FM-index来约束生成空间，保证标识符一定有效。

除了典型的“下一个物料预测”，自由生成的优势还在于可以产生新的物料描述，或者连续预测接下来N个物料。

现有工作总结

以下是当前生成式推荐系统的代表性工作一览：

表2. 生成式推荐系统的代表性工作[26]

三、实践方案

总体设计

在对现有工作进行系统调研之后，我们方案的着力点定在了两个方向：

和。

图2. 总体设计框架图

功能模块

• 物料文本描述
  ：基于商品标题。

• 物料向量
  ：分别用预训练的bert-base-chinese和Yi-6B提取，维度分别为768和4096。

• 物料语义ID（SID）
  ：用RQ-VAE对物料向量做量化。RQ-VAE包括编码器、残差量化和解码器，输入是从预训练语言模型提取的向量，输出就是SID序列。对于冲突数据（一个SID对应多个商品），我们尝试了两种处理方式：放任冲突；或者借鉴TIGER方案，对冲突商品增加随机一维，让SID唯一。比如“ThinkPad 联想ThinkBook 14+ 2024 14.5英寸轻薄本英特尔酷睿ultra AI全能本高性能独显商务办公笔记本电脑”可以表示为或。

图3. RQ-VAE模型图[8]

• Next Item Prediction
  ：推荐系统主任务，给定用户描述（画像+历史行为），预测下一个要推荐的物料。

• Additional Alignment
  ：因为SID和自然语言之间存在差距，我们增加了两个额外的对齐训练任务——SID到文本描述、文本描述到SID——在物料SID和文本描述之间架一座桥。

四、离线与在线实验

训练数据

{
  "instruction": "该用户性别为女，年龄为46-55岁，婚姻状况为已婚，有无子女状况为未知。用户已按时间顺序点击了如下商品：, , , , , , , , , , , , ，你能预测用户下一个可能点击的商品吗？",
  "response": ""
}

{
  "instruction": "商品的标题是什么？",
  "response": "ThinkPad 联想ThinkBook 14+ 2024 14.5英寸轻薄本英特尔酷睿ultra AI全能本高性能独显商务办公笔记本电脑 Ultra5 125H 32G 1T 3K屏 高刷屏"
}

{
  "instruction": "哪个商品的标题是"ss109威震天变形MP威震玩具天金刚飞机威男孩机器人战机模型合金 震天战机（战损涂装版）"？",
  "response": ""
}

基座模型、训练及推理

• 基座模型
  ：Qwen1.5-0.5B/1.8B/4B 和 Yi-6B

• 训练
  ：基于SID增加新tokens，用交互数据进行微调

• 推理
  ：基于beam search的受限解码策略，beam size=20

• 实验方式
  ：离线实验 + 线上小流量实验

• 离线评估指标
  ：HR@1,5,10；NDCG@1,5,10

• 在线评估指标
  ：UCTR

实验结果

• 0.5B到4B，模型越大，处理多任务能力越强，指标越高。
• 0.5B能力偏弱，不宜混合多任务——单一任务训练比混合任务效果提升了8倍。
• 即使离线训练和测试数据有3个月的时间差，模型表现依然可观。

• Yi-6B在不使用受限解码的情况下，效果已经最好。
• 微调后的Yi-6B指令遵循能力出色，同时支持next item prediction和标题文本生成。

• 相同数据规模和处理条件下，Yi-6B效果更优。
• 传统协同模型对数据和特征处理方式极为敏感，过滤稀疏数据后效果有显著提升。

• 在多个置信的站外投放页面，生成式模型base版与传统多路召回+排序的top1推荐UCTR持平，部分页面较优，UCTR提升5%以上。
• 更擅长处理数据稀疏、用户行为不丰富的场景。

五、优化方向

对于生成式推荐系统，高质量数据集是精准推荐的基础。在物料表示和输入-输出数据构建层面，将语义信息、多模态信息与协同信息结合起来，充分适配联盟场景特点，可以有效提升物料表示的准确性和相关性。

要支撑RQ-VAE的稳定训练和语义ID的增量推理，需要开发一套可扩展的SID训练和推理框架，让语义ID能快速适应物料的动态变化。

优化基座模型是另一个关键方向。通过合理组合训练任务、采用多LoRA技术、混合数据策略，可以进一步释放模型潜力。推理加速同样重要，模型蒸馏、剪枝、量化等手段能有效提升响应速度和系统效率。基座模型的选型与迭代，也需要持续投入。

未来还可以考虑引入搜索query内容，探索搜推一体化建模。同时，引入用户推荐理由生成、用户偏好生成等任务，既能丰富系统功能，也能提升用户互动体验。

目标很明确：通过持续的技术创新，让推荐系统变得更高效、更个性化。感谢阅读。