LinkAI RAG 知识库优化之路

RAG（检索增强生成）如今已是AI智能体应用的重要技术路线之一。它的核心价值在于，能够有效弥补大语言模型在问答交互中的几大短板：知识更新滞后、训练数据的边界局限、以及那个让人头疼的“幻觉”问题。换句话说，有了RAG，大模型才真正有可能在专业领域，尤其是企业级场景中站稳脚跟，去应对真实的生产需求。

LinkAI的知识库能力，正是围绕着“检索前、检索中、检索后”这三个关键环节，经过持续的打磨与迭代，实现了整体效果的显著提升。

知识库导入

任何一次高质量的检索，起点都在于内容导入。文件上传、格式解析、内容切分、向量化存储——这些看似基础的操作，其实直接决定了后续问答效果的底层质量。把私有知识有序、合理地“喂”进知识库，是RAG应用迈出的第一步，也是最不该被忽视的一步。

多种内容格式

目前，LinkAI知识库支持导入以下几类内容：

• 无结构文档

• Q&A问答对

• 多列表格

• 网站内容

导入文档时，PDF、docx、txt、md等常见格式都能直接上传，系统会自动解析分段，开箱即用。问答对的导入则更为直接：将一问一答格式的CSV文件导入后，问答精准度会更高，后续维护也相对轻松。至于表格，支持多列的Excel或csv文件直接导入，并能按列检索——这对多属性列表型的产品信息来说，适配度很高。

内容分段及预览

无结构内容（文档或网站）导入时，一个无法回避的问题是文档过长。如果不对其进行切分，检索时可能遇到索引混淆、核心知识点被稀释、甚至token过长导致语义截断等情况。

为此，LinkAI针对不同类型的文档定义了不同的分割器，基于分隔符和分块长度进行切分。更关键的是，引入了冗余字符和相邻段落衔接句字重复的策略，确保一个完整的句子不会被拦腰截断，始终保留在同一段落中。

此外，默认分段字符长度为600token，但用户可以根据文档的实际情况手动调整这一数值，并实时预览分段效果，直到找到一个相对最优的状态。整个分段过程是

。

文档内容分段预览

增强解析

PDF和docx文件在导入时，往往是典型的无结构文档。除了排版不规范，文件中的图片和表格也是一个常见的痛点。

增强解析功能正是为此而生。对于PDF、docx和md文件，它除了提取文字外，还能

，分段后即可预览，再直接导入。导入后，文档中的图片可以作为附加素材参与到答案生成中，而表格则以Markdown格式存储，支持行列检索。

自动解析文件中的图片和表格（←左右滑动查看→）

表格导入

结构化的多列表格在很多业务场景中非常常见，比如一张包含多个SKU和属性值的产品信息表。能否支持表格导入，直接决定了RAG应用能否承载更复杂的业务需求。

LinkAI的表格型知识库采用了

的模式。导入表格时，默认会将所有列作为索引列，即用户提问时，问题内容会与这些列进行匹配。用户也可以手动调整某些列为非索引。此外，列名支持编辑修改——这一点值得注意，因为列名在大模型生成答案时会起到重要的“语义解释”作用，一个含义清晰的列名，能让AI更好地理解该列的内容。检索时，则通过列中数据检索得到整行数据。

导入多列表格后预览及调整索引和列名

举个例子：导入一张QS大学排名表格后，将“学校英文名”一列设为非检索列，其余三列均为检索列。当用户提问“牛津大学”时，系统会将问题与“排名”、“学校名称”、“类型”三列的内容进行匹配，从而检索到第三行的数据“2,牛津大学,University of Oxford,QS200”。AI在回复时，这一整行数据都会被用于答案生成。

这种多列索引+单行检索的模式还支持跨列检索。比如，提问“排名为第1名的学校中文名”和“排名为第1名的学校英文名”，可以分别返回“麻省理工学院”和“University of Oxford”。在实际应用场景中，假设用户提问“推荐一款红色的衣服”和“推荐一款M码的衣服”，都可以命中知识库中“颜色:红色；尺码:M码...”的这条商品信息。

网站导入

网站导入功能的价值在于，能够

，从而搭建知识库问答智能体。操作上，既支持将批量独立网址链接粘贴后一键导入，也支持通过输入网站地图URL，自动获取网站下所有页面的内容并导入。

与文档导入类似，系统会自动结合分段长度、标点符号和语义，将长文本拆分成多个段落，方便后续建立索引进行检索。右侧可以清晰看到每个网页的名称，以及内容拆分效果的预览。

网站内容导入知识库

对于定期更新的网站，后续将支持设置定时抓取，以实现知识库的自动更新。

知识库的导入是整个RAG有效应用的关键第一步。在这一点上，LinkAI在多格式、多来源知识文档的解析，以及检索环节的前置准备方面，已经完成了持续优化，能够较好地满足客户及用户的业务需求。

知识库检索

语义向量检索

内容导入后，在实际问答场景中，RAG检索主要基于语义向量检索来实现。简单来说，就是用模型对导入的每段文本建立向量的索引，然后使用同一模型将用户的每次提问也进行向量化，最终计算向量之间的匹配度，找出吻合度最高的结果。

在绝大多数问答场景下，向量检索都能得到不错的检索结果，进而生成高质量的回复。当然，在一些特殊场景中，还需要依赖增强检索模式来应对。

混合增强检索

为了进一步提升知识库问答的效果，LinkAI上线了增强检索模式。这一模式的核心思路是

。尤其在一些特殊场景——比如提问中涉及姓名、字母、数字、型号等文本时，效果提升非常明显。

原因是，对于部分短词、符号，其向量往往无法真实反映语义。此时，关键词匹配往往比向量匹配更有效。将两者结合起来，就能比较完美地覆盖常规提问和特殊提问的需求。

开启增强检索模式

当然，经典的关键词检索也有其弊端。文本间的强匹配可能会给大模型生成回复带来不必要的噪音。例如，用户提问中的无实义常用语，可能恰好匹配到知识库中包含同样词汇的内容，导致错误回复。为此，LinkAI设立了过滤词库机制，将这类词汇从关键词检索中剔除。

提问检索测试

知识库导入后，检索过程对用户来说往往是“黑盒”的。向量匹配相似度的不确定性，加上大模型生成回复的不确定性，使得整个过程难以直观理解。为了尽量“白盒”化，可以通过模拟用户提问来观察检索过程。

检索测试支持

。可以选择语义检索或增强检索两种模式进行测试，并查看不同提问检索到的前20条知识库语料（语义检索、关键词检索各10条）及其对应相似度。

知识库检索测试结果

基于检索测试，当回答不符合预期时，可以查看该提问与预期知识库语料之间的向量匹配相似度。这也能为用户配置知识库语义检索的相似度阈值提供有效的参考依据。

当然，RAG检索在实践中还有很多变种，比如模块化并行检索、加入记忆模块参与检索、甚至引入搜索引擎内容等。LinKAI在自研的AI搜索、内容总结、拟人对话等功能和场景中，也在广泛使用和进行RAG相关的多种技术优化实践。这些内容与知识库功能关联不大，这里就不展开了。

知识库答案生成

对于一次对话来说，检索完成后便进入答案生成的环节。这一步，是将检索结果、用户提问等内容，结合大语言模型进行智能生成的过程。某种程度上，它是用户接收到答案前的最后一道工序，重要性不言而喻。

检索结果加工

在前序环节中，取决于检索策略的配置（语义相似度阈值、检索模式、检索条数等），会得到多条检索结果。其中可能包含重复的知识库语料，比如分别通过语义检索和关键词匹配检索到的，或者同一语料被重复录入。因此，去重加工是必要的。

此外，多条知识库语料输入大语言模型的顺序，也至关重要。这包括：语义检索中向量匹配相似度不同的语料之间的排序，以及关键词检索结果与语义检索结果之间的排序。排序方式的不同，可能会对大语言模型的理解和生成产生不同的影响。因此，引入重排策略来进行调控，是必要的一环。

降噪及严谨性控制

即便通过上述手段确定了可以使用的检索结果，仍然可能遇到“可用性”问题。检索结果可能与用户提问之间并无关系。比如，某些短词、符号的向量无法真实反映语义，增强检索虽然能检索到文本极其相似的内容，但实际含义可能完全不同，比如型号接近、但功能迥异的产品信息。如果直接将这样的检索结果提供给模型，就等于引入了噪音，干扰准确回复。

在此之前，还需要对检索结果进行最终降噪。实现方法是使用大语言模型，对检索结果和用户提问进行前置比对。借助LLM出色的自然语言理解与推理能力，来

。只有当两者相关时，才将其进一步交给大模型进行最终的答案生成。

对于知识库中没有的内容，部分企业场景要求AI有分寸感地“避而不答”。LinkAI支持

（即知识库中没有满足语义检索向量相似度阈值的语料），，从而满足严谨性控制的需求。

答案来源标注

大模型最终生成的回复，对于终端用户来说仍然是“黑盒”的。用户无法准确分辨，这个答案是来自确有其文的资料，还是基于模型自身的知识能力。在部分企业场景中，对回答的严谨性和可追溯性有明确要求。因此，在最终回复生成时，可以让大模型

进行标注，以提升答案的可信度和可溯源性。

在回复中标注答案内容来源

素材发送

知识库内容除了文字，还可能包含图片、视频和独立文件。在智能体对话场景中，除了文字回复，也有直接回复图片、视频和文件的需求。

举个例子：在AI销售场景中，需要根据顾客需求发送合适的服装搭配方案，除了文字介绍，还需要发送衣服的图片、视频作为补充。再比如企业内部员工问答机器人，当员工需要获取一个文件模板时，智能体需要将整个文件原封不动地发出，而不是逐字逐句地念文件内容。

知识库除了导入用于RAG的文字语料外，还支持

。上传后，素材以URL格式作为附件一并存储在知识库中。当用户提问命中该条语料时，附件可以。

将知识库中的图片/视频/pdf、docx、exce文件直接发出（←左右滑动查看→）

知识库素材发送能力不仅支持网页端，在LinkAI的应用接入渠道（网站嵌入、钉钉、飞书、企业微信等）中均可兼容。

知识库回答反馈优化

使用记录定位溯源

经过上述一系列动作，一次基于RAG知识库的对话便完成了。但即便动用了多种AI和工程能力进行优化，也无法保证最终回答的100%准确率。偶尔出现不符合预期的情况，是正常的。

借助LinkAI的使用记录功能，可以查看每一次AI智能体问答的详情，其中包含了知识库应用的RAG检索结果，以及工作流中知识库节点的RAG检索结果。

在使用记录中查看应用或工作流节点中知识库检索命中详情（←左右滑动查看→）

通过使用记录中的知识库命中详情，可以

，同时还支持一键跳转到该条语料的编辑页面，进行快速调整和优化。

未命中知识库数据看板

在企业应用场景中，知识库型智能体如果用户提问未命中知识库，通常是不符合预期的。一般来说，这代表着知识库内容尚未覆盖用户可能会问到的全部问题。因此，实时洞察未命中知识库的用户问题，对于知识库的持续改进至关重要。

基于数据驾驶舱中的「未命中知识库」图表，企业管理员可以实时查看任意周期内未命中知识库的用户提问统计数据，并能下钻查看明细，根据用户当时的具体问题，判断是否需要补充新的知识库内容。这样一来，

，帮助企业持续优化知识库型智能体的应用表现。

可视化看板呈现未命中知识库的提问数据

RAG知识库的运营型迭代优化，本质上是一个复利工程。受益于AI Chatbot 1vN服务的规模效应，每改善一个知识库问题，带来的服务效果提升和人力节省，都是巨大的。持续不断地反馈、优化，才能最大限度地释放AI应用在企业场景中的落地价值。

总结

RAG工程的每一个步骤、每一个环节，都有可能对最终效果产生影响。而不同的使用场景，又各自有不同的目标和侧重点。一套功能强大、场景覆盖全面、且能兼容各种corner case的RAG知识库系统，是知识库型AI智能体在企业场景落地应用的基础。

LinkAI自23年6月发布以来，一直在RAG知识库产品方面持续探索和优化，逐步实现了功能通用、产品易用、多场景可用的目标。未来，将继续通过优秀的产品能力，解决好大模型企业级应用中知识依赖和知识更新的核心问题。