大模型落地场景众多，为什么建议企业优先落地知识库？

目前企业客户在落地大模型时，排在前三位的场景分别是数据分析、知识库问答和客服营销。今天的分享，就围绕这三个方向中最值得优先发力的那个——知识库问答来展开。

先从三个层面聊清楚这件事：

第一，为什么说知识库问答是企业落地大模型的优选场景？这个问题在向管理层汇报时尤其关键。

第二，大模型加持下的知识库，和传统知识库到底有什么本质区别？这是企业内部立项时必须讲清楚的核心问题。

第三，分享一个金融行业大模型加知识库的真实落地案例，看看实际成效如何。

01 大模型知识库为什么是企业大模型落地的优选场景？

大模型技术的落地，通常分为四层：应用层、中间层、模型层和基础层。

过去很多企业直接把知识库作为一个独立的应用来落地，但今年我们在和大量企业用户交流后发现，一个更主流的趋势是：企业会基于上层业务场景，抽象出一些通用的中间能力，放在中间层。以前这个中间层主要是大模型的运维工具，现在越来越多企业开始把它打造成一个能力中台，用来统一调度各种能力。

在这些能力中，有三个方向落地最多：

• 知识库及RAG检索
  ：这是企业用户落地时优先考虑、选择最多的能力场景。

• 大模型加数据分析
  ：无论是对话式分析还是直接取数，需求都很旺盛。

• Agent流程画布
  ：涉及目标理解、任务拆解和自动执行的能力。

而知识库和检索，毫无疑问是排名第一的选择。从最早的LangChain到后来的FastGPT，底层逻辑都是围绕知识库搭建。今年行业里高度关注的RAG技术，本质上也是知识库上层检索的进一步演化。

为什么我们建议企业优先落地知识库问答？有三个核心原因。

知识库问答是知识和检索之上的一个应用场景，而知识库和检索作为中间层能力，可以衍生出大量应用场景，扩展性远超想象。

过去说起知识库，大家想到的无非两个场景：内部知识库门户和客服知识库。除此之外关联不大。但现在，当知识库和检索变成一种能力后，适用范围大幅扩展了——不仅是客服，IT、营销、HR都可以有知识库助手。包括现在央国企落地比较多的办公类场景，背后很多都是知识库问答。可以说，知识库是整个应用体系的基础设施。

先说成本。无论是去年还是今年，知识库场景的落地成本相比其他大模型项目都低得多。如果走公有云API调用，成本更低。整体来看，知识库场景的预算基本能控制在百万级别。

再说算力。即使要私有化部署，对模型的参数量要求也不高。大部分场景用十几B的参数就能搞定，30B以上的很少见，绝大多数100亿左右的参数就足够了。推理算力要求相对较低，一张英伟达显卡就能支撑10-20个并发的知识库问答。市面上很多一体机方案，百万级别就能解决实际场景。

最后是验证速度。绝大部分知识库问答场景能在三个月内落地。相比之下，私有化部署大模型往往需要半年甚至一年才能验证效果，知识库的验证速度明显更快。

02 大模型加知识库和传统知识库有哪些区别？

回顾知识库的发展历程，最早就是档案室。很多央国企的党建、人力、招投标档案都有专门的档案室存储。后来逐渐搬到线上，变成数字知识库，再到上一代的传统AI知识库。

传统AI知识库覆盖的模态已经比较丰富了，文本、图片、语音、视频都能处理。核心应用主要集中在搜索、客服和推荐三个方向，应用范围相对狭窄。

这个阶段的传统知识库，有三个一直难以解决的问题：

传统AI知识库的冷启动周期很长，需要大量数据标注、知识提取、流程画布设计，还要靠话术师和人工标注，时间成本非常高。

客服有客服的知识库，公司有公司的大知识库门户，但底层还是割裂的。一旦需要新建一个知识库，就得从零再搭一套。比如要做一个IT部门的助手，得先重新把IT知识抽取出来再建，运维和更新成本居高不下。

基本是封闭域问答，很难跨域解决问题，上下文联系的能力也弱。

到了大模型加知识库的新阶段，从模态上看变化不大，依然是文本、图片、语音、视频。但几个核心变化非常关键：

除了搜索、推荐和客服，现在知识库的助手可以延伸到营销、合规、工单自动流转、基于PDCA闭环的工单追踪等场景，这些都是传统知识库难以实现的。传统知识库靠全文检索可以找到内容的位置，但没法直接回答你的问题。大模型加知识库靠向量检索，既能给出溯源位置，又能直接给出加工后的答案，效率高得多。

过去需要话术师和人工标注，现在构建环节变成了文档上传，大模型能自动生成问答，人只需要审核和选择。相似问的扩充，过去靠专家经验，现在大模型能自动完成，人做审核即可。冷启动周期大大缩短。运维方面，过去各知识库割裂，新建和更新都得重新标注配置。现在可以做统一的全企业知识库，虽然仍然需要分域，但人的参与度和运维成本大幅降低，即使要新增助手，也更多是调优而非从零搭建。

核心就是每个岗位都可以有自己的助手，覆盖的员工数量也大幅增加。

从知识库构建和运维的具体环节来看，大模型的价值更加清晰。

在知识构建环节，大模型可以实现大量自动化。比如某车企过去做自动驾驶标注全靠人工，现在大模型凭借通识能力来做数据标注，这是很多车企正在尝试的方向。此外，知识的自动分类、实体关系抽取、自动生成问答等，大模型都能自动实现，人主要负责审核和优选。

在知识校验层面，目前大模型的应用还存在一些难点，主要是新词的校验有滞后性。毕竟大模型对新知识的接受渠道有限，即使有RAG加载新知识，也得先有新知识库才能理解。所以目前还是人工兜底。

在知识运维和安全层面，大模型的应用空间也很广阔。比如过时信息的处理，过去全靠人工选答案做标注。未来基于时间戳逻辑，大模型可以自动判断并更新知识。针对不同文档中同一知识点解释不一致的问题，大模型也能识别出来，提示给人工修改。

在工单场景中，大模型也能发挥作用。用户提出一个问题，大模型没解决时，可以基于未解决的问题自动生成新工单，派发给对应的工程师或知识管理人员，解决后工单关闭，新问答就能被加载，形成闭环。

不过在实际落地中，自动检测过时信息和自动修正这些功能还在尝试阶段。

知识库的安全问题中，权限管理是一个非常大的隐患。过去的权限写死在代码里，用户能看什么数据是固定的。但大模型环境下，所有知识都在模型中，恶意用户可能通过提示词注入或反向提示词来绕过权限限制。比如通过反复提示让大模型认为自己是高级别用户，从而获取未经授权的信息。这是当前大模型在知识库安全，尤其是权限管理上需要重点解决的问题。

03 金融机构大模型知识中台建设

分享一个金融机构落地知识中台的真实案例，核心用大模型。这里有几个要点值得关注：

实际部署了两个大模型，一个6B，一个13B，都是国产开源模型，足以支撑上层使用。这也再次印证了前面的判断：对于绝大多数企业来说，知识库确实是对算力和底层模型要求不高的场景。

最终落到指标上，知识库构建用时下降了30%。核心看的就是冷启动效率的提升，这也是目前绝大部分企业用户最认可的价值点。

整体成本在三四百万级别。为什么这个项目预算比普通知识库高？关键在于它是以“知识中台”的形式落地的，相当于把金融机构内部原本割裂的各知识库拉通整合。上层第一个应用是客服，后续还规划了营销、IT等多个场景。

这种方式提供了一个很好的思路：不一定非要单独做一个知识库问答项目。把它包装成一个统一的知识中台，在公司内部落地，覆盖的受众更多，价值感也更明显。