关于垂直领域大模型的探索和尝试

在过去一年多的时间里，行业内围绕大模型在专业领域的落地，做了不少探索。今天想聊聊我们团队在这段时间的一些技术积累和思考，希望能给大家带来一些启发。

垂直领域大模型的特点

垂直领域大模型，简单说就是在通用大模型基础上，用特定行业的领域知识去做二次训练和优化。跟通用模型比起来，它更专注于某个领域的知识和技能，专业性和实用性更强。但正因为这些特点——比如对准确性的苛刻要求、知识库需要频繁更新——也带来了不少新的挑战。

优势

• 领域专业性
  ：经过专门训练，能更好地理解和处理特定行业的术语、知识和上下文。

• 输出质量更高
  ：在特定领域做了优化后，产出的结果通常比通用模型要好。

• 特定任务表现更好
  ：面对领域内的具体任务，效果明显优于通用模型。

挑战

• 准确性
  ：消费者对写小说、画图这类内容容忍度很高，但商家对结果的准确性非常敏感，一次不满意可能就不用了。试错成本高，这是核心难题。

• 知识库维护
  ：商家的知识库更新频繁，而且素材五花八门——流程图、PPT、PDF、表格都有。怎么高效准确地从不同知识体系里找出相关信息，再通过RAG召回高质量答案，是必须面对的问题。

• 适用性限制
  ：垂类模型在特定领域很强，但换个领域就弱了。可实际使用中又不能完全禁止用户问非相关问题，所以微调时得混入一些通用数据集。

挑战及解决方案

对齐增强

在实际问答场景里，用户提问往往很模糊，比如“推荐个好吃的店”这种。我们借鉴了BPO的思路——通过优化提问和提供思考方向，让模型更好地理解问题。具体来说，BPO大致分四步：先用一个初始指令让模型生成答案，得到好答案和坏答案；再用GPT比较这两类答案，反过来优化指令；然后训练一个seq2seq模型，让它能根据问题自动生成优化后的指令；最后把指令和问题一起喂给大模型。

用了这个方法后，回答准确率提升了1.8%。举个例子：原问题是“下班后帮我推荐个附近好吃的店”，经过对话增强优化后变成“今天是周五，路上比较拥挤。想吃点辣的，推荐下周围车程不超过10分钟有什么好吃的店？”——是不是感觉清晰多了？顺便说一句，BPO这个方法在今年的WAIC会议GLM专场也有专门提到，可见确实是好用的。

Text2API

大模型作为Agent去调用现有工具，是区别于传统答疑机器人的一个重要能力。我们面临的情况是：有超过1000个高频API需要调用，部分API还比较相似（比如查询商品信息、查询组套信息、查询货品信息），而且用户体验要求查询时间控制在2秒以内。所以，高效准确地识别问题中的参数并找到对应API，是两个核心问题。

最开始我们用的是Langchain自带的ReAct框架，但发现几个问题：一是完全依赖底座模型，在ChatGPT4上表现不错，但在一些中文模型上识别API参数时容易乱编；二是调用链太长，处理复杂问题时改写工作量大，而且ReAct没有惩罚机制，出错了只能人工检查后改Prompt。

后来我们引入了Reflexion框架——它比传统ReAct多了个自我反思机制，能把短期和长期记忆存下来，在后续决策中引导模型生成更好的结果。用了这个框架后，API调用准确率提升了4%。值得一提的是，在实际使用前，我们还通过对齐增强模块给某个API的描述做了提示性补充，这才解决了一部分相似API识别的问题。

RAG

RAG是垂类大模型最经典也最高效的方案——从自有数据库里检索相关信息，合并成提示模板后喂给模型。但素材的多样性是个大问题，比如实际业务中常见的官方白皮书，里面既有PDF合同、表格，又有系统界面截图和操作流程图。文档注入时怎么解析这些素材，做RAG时怎么精准返回结果，是我们必须解决的。

以流程图为例，我们先让ChatGPT描述流程图里的步骤，然后人工对近1000个结果做review，最后放到基座模型里做SFT+DPO。

：关于文本切分，目前有基于深度模型和基于规则两种方式。第一版我们用了基于Transformer的切分，效果不理想，后来换成了基于规则的切分。有几个经验值得分享：

• 如果直接把分割结果拿去embedding，chunk_size要把握好——太长模型会忘掉中间内容，太短又信息量不够，关键信息容易被忽略。
• 不必拘泥于原文章的行文结构来判定内容之间的关联度。我们引入了一种聚类方法，按“语义逻辑”重新组织内容，效果不错。
• 处理长文本时，如果不能无限扩充context，就反过来先把长文本“压缩”成短文本，同时尽量不损失信息。
• 当聚类后的chunk数量超过预定值时，递归总结过程会再次在内部递归，一直优化到需要的长度。经过这几步优化，文本信息最终被重组成一棵树状结构。

SFT

我们沉淀了几万条标注好的场景测评数据——这些数据是选择基座模型、微调方法以及后续迭代模型的重要指引。

在这些数据基础上，我们测了市面上几乎所有的开源基座模型和能看到的微调方法，用embedding相似度、人工打分、ChatGPT4打分三个维度分别评估“基座模型”和“基座模型+微调”的表现，最终挑出了最适合我们场景的方案。

实际做SFT时，我们还混入了部分公开数据集（比如COIG-CQIA、alpaca-gpt4-data-cn），主要是为了解决垂类模型通用能力退化的问题。

最近，我们还参考了ORPO的思路——把SFT+DPO的模式简化成在SFT里直接加一个惩罚项来做偏好对齐。经过对比实验，整体回答效果提升了约5.2%。

结语

以上就是团队这段时间在垂类大模型上的一些实践和思考。经过一年多的探索，虽然不少场景有了突破和进展，但肉眼可见还有很多领域没有完善，未来还有很多工作要做。非常欢迎大家一起交流大模型技术，共同推动这个领域往前走。