AI知识库搜不准？缺的不是更好的模型，是这三层内容筛选

三个月前，有这样一个场景：一个人对着自己搭建的AI知识库输入了一个问题——「Redis Cluster 的 gossip 协议在节点故障时怎么处理的？」

这个问题的答案，他之前写过一篇5000字的专栏文章，就放在知识库里。但检索结果让人愣住：前三名全是StackOverflow的社区回答，第四名是一篇2023年的公众号转载，他自己的原创文章排在第七位。

那篇原创花了他两个周末，结构清晰，有源码分析，有压测数据。而StackOverflow那个回答只有200字，就说了句「gossip协议会自动检测并移除故障节点」，聊胜于无。

那一刻才意识到：技术选型只是搭了个壳，真正决定检索质量的，是你往壳里放了什么、怎么放的。

为什么大多数人只关注技术选型？

这半年AI知识库相关的讨论，几乎全部集中在向量数据库选型上——Milvus还是Qdrant？Embedding模型用哪个？chunk size设512还是1024？rerank要不要加？

这些当然重要，但它们只是AI知识库的「硬件」。就像你配了一台顶配电脑，装的操作系统和应用软件全是盗版——跑起来的体验依然一塌糊涂。

常有人问向量数据库怎么选、embedding模型哪个效果好。但很少人问：「那些文章放进知识库之前，做了哪些处理？」

说实话，一开始也没处理。

第一批数据导入时，把240篇文章、几十个GitHub Discussion收藏、几百条随手记的笔记一股脑全扔了进去。chunk策略用了个看起来很合理的800字切片，跑了一遍embedding，觉得大功告成。

然后就有了开头那一幕——检索结果被低质量内容淹没。

这不是向量数据库的问题，不是embedding模型的问题。是入库这一步就做错了。

踩过的坑：三个失败的尝试

第一个尝试：全部平权。

240篇原创、200多篇收藏文章、几十个GitHub issue讨论，全都用同一套参数处理。结果就是：你精心写的深度分析，和一篇你三年前随便收藏的热点文，在向量空间里的「地位」完全一样。

检索系统不知道哪篇是你的心血，哪篇只是你顺手点了个收藏。

第二个尝试：按来源分类。

在文章上打了标签——「原创」「转载」「社区」。想着标签可以过滤。但实际用起来发现，标签只是给内容加了一个维度，检索的时候你不可能每次都手动筛选标签。而且标签太粗——同样是原创，8000字的深度专栏和1000字的碎碎念，放在一起仍然不公平。

第三个尝试：手动精选。

决定只放「质量最高」的文章。花了两个晚上手动筛选，最后留下了60篇。效果确实好了不少——检索结果精准了很多。但代价也明显：很多「质量一般但内容相关」的信息没了。比如有一次想查一个Kafka的配置参数，那篇收藏的StackOverflow回答被筛掉了，原创文章又没涉及这个细节——检索结果直接为空。

三次失败让人想明白了一个关键问题：知识库不是收藏夹，不是一个「要么放、要么扔」的二元选择。不同类型的内容应该有不同的定位和权重。

这就是三层结构的起点。

图：三层结构完整视图——每层独立筛选标准与分块策略，三层之间逐级补充

第一层：原创内容——你的核心资产

先说一个反直觉的事：这一层不需要筛选。你自己写的东西，全部入库。

筛选标准：写过 = 入库。不用再筛。

这不是偷懒，是策略。原创内容有几个天生的优势：

• 结构清晰——你写的时候就有H2/H3标题，天然适合做「结构感知分块」
• 逻辑完整——每篇文章都有完整的论证链条，AI检索时可以关联到上下文
• 有独特观点——这是你区别于其他人的东西，是知识库的核心竞争力

例如，有240篇文章在库里，覆盖Redis、Kafka、JVM、MySQL、算法、AI、架构设计。每篇按H2/H3自然切分，chunk控制在800字左右。一篇文章通常切成8-12个chunk。

这样做有一个额外好处：你写文章时的标题就是天然的关键词索引。当AI检索时，H2标题提供了一层语义锚点——不是靠embedding硬算相似度，而是结构本身在辅助检索。

分块策略：结构感知分块。

不要用固定字数一刀切。顺着你的文章结构切——每个H2一个chunk，H2内容超过1000字就按H3再切一级。这样做的好处是每个chunk都是一个完整的「知识单元」，不会出现一个技术点被拦腰截断的情况。

第二层：日常摘要——你的信息过滤器

这一层是踩完前两个坑之后才加的，也是三层结构里最关键的一层。

具体做法：每天读到的优质文章、论文、技术文档，读完写200-500字摘要。不是「收藏」，是「消化后重写」。

筛选标准：三条硬指标——

1. 和你的工作领域确实相关（不相关的不占空间）
2. 你确实从头到尾读完了（只看标题或扫了一眼的不算）
3. 你有自己的判断（「这篇文章的结论过激了」「这个方法在X场景下不适用」）

这三条筛下来，每天收藏的文章能留下来的大概20%左右。不是内容太少，是之前收藏得太随意。

摘要的价值不止于「把信息存下来」。最关键的一点：用自己的话重写一遍后，检索时会匹配你自己的表达方式。你问AI知识库一个问题时，embedding匹配的是语义——你自己写的摘要，用你自己的语言习惯，天然和你提问的方式更接近。

做过一个小对比：同一个技术问题，直接用原文的chunk检索命中率大约在60%，用自己写的摘要检索，命中率能到85%以上。差距就来自于表达方式的匹配度。

分块策略：模板段落分块。

摘要的长度在200-500字，通常是2-3段。每段200字左右切成一个chunk。不需要像原创那样按结构切——摘要本身就是精炼过的信息单元。

第三层：社区智慧——你的外部精华库

前两层已经覆盖了你自己的知识产出和消化后的信息。但还有一个空档——你知道自己不懂，但还没系统学过的东西。

这一层放别人写的优质内容：GitHub Discussion里公认的好方案、StackOverflow高票回答、Hacker News上讨论质量很高的帖子。

但筛选必须是最严的，因为外部内容质量方差极大。你收藏的100篇里，真正有价值的可能不到20篇。

筛选标准：三条硬指标——

1. 经过时间验证。非热点文。热点文的半衰期极短，三个月后基本没用。只收那些发布6个月以上仍被持续引用的内容。
2. 有可复现的方案。「思路」文章不收——信息量不够。必须是有具体步骤、有代码、有配置参数的方案。你照着能做出来，才值得放进知识库。
3. 补充了你的知识盲区。如果你自己已经写过同一主题的原创文章，社区的同类内容就不需要了——你自己的文章质量通常更高。社区内容用来填充你「知道但没写」的领域。

社区内容每周不超过5篇。宁缺毋滥——一张没有标准的海报墙，早晚变成垃圾堆。

分块策略：Q&A对分块法。

社区内容有个特点：大部分是问答形式——「有人问了个问题，有人给了个答案」。这种内容不适合按段落切。

采用Q&A对分块法：把问题和回答打包成一个chunk。如果一个回答有多个方案/步骤，每个方案单独成一个Q&A对。chunk控制在600字以内。

这个策略是最近才定型的。之前也是用固定800字切，效果很差——问题被切到chunk A，答案被切到chunk B，检索时要么匹配到问题、要么匹配到答案，很少同时匹配到两者。

更新节奏：控制总量比疯狂收集更重要

知识库最怕的不是内容少，是内容多而乱。

第一层（原创）：持续写，写完就入。这是你的核心产出，不需要额外的时间成本。写完 → 检查H2/H3结构 → 入库。全程不超过5分钟。

第二层（摘要）：每周3-5篇。不是每天都要写摘要，是读完确认有价值的才写。平均每天不到一篇。关键不是速度，是「读完才写」——这一点自己花了两三个月才真正养成习惯。很容易陷入「看了标题觉得不错就想先存下来」的模式，这种「先存后看」最后都变成了「存了就忘」。

第三层（社区）：每周不超过5篇。这个上限比你想的要低。对于外部精华内容，给自己定了个规矩：如果一周之内没有在对话中主动引用过这篇文章，就说明它还不够重要，不值得入库。

季度清理。每三个月做一次内容审计。标准很简单：

• 内容是否已过时（三年前的热点文、已废弃的API用法）
• 是否有更高质量的替代（你自己的新文章覆盖了同一主题）
• 检索日志中是否从未被命中过（连续两个季度零命中，直接删除）

删东西比加东西更需要决断力。但不清的代价更大——每次检索都要在过时内容中做一遍相似度计算，浪费算力也稀释精度。

常见错误：这些事做错，三层结构等于白搭

错误一：什么都往里扔。

这是最典型的坑。搭建AI知识库的初期，看到什么好文章都想收进来——反正存储不贵。但检索的成本不在存储，在精度稀释。每多一条无关内容，好结果的排名就可能往后掉一位。

错误二：只收集不消化。

用RSS订阅、Readwise这类工具自动导入文章，看起来很「高效」。但AI尝到的只是原文的味道，没有你的消化和判断。当你用「自己的话」问问题时，匹配不上「别人的话」写的内容——隔了一层。

错误三：结构混乱。

同一主题的内容分散在不同的目录、不同的笔记工具里。向量检索会帮你搜，但结构化信息（目录层级、标签体系、章节关联）是向量检索永远补不上的维度。建议用目录+标签双轨制，让AI检索和人工检索互相备份。

错误四：从不清理。

三年前收藏的某框架v1.0最佳实践，v3.0已经完全推翻——但你忘了删。AI检索时把它排进了前三名，你照着做了半天发现不对。过期内容不是「反正都在那」，是「它在误导你的判断」。

常见问题

Q: 三层结构和直接用目录分类有什么区别？

A: 目录分类是静态的——一个文件归属于一个目录。三层结构是动态的——原创、摘要、社区三个层级定义了内容的「信用等级」，在不同场景下动态调整权重。查自己写过的内容时，原创层权重最高；查一个新领域时，社区层补充盲区。这个权重是AI检索时实时计算的，不是手动筛选。

Q: 我的文章不够240篇，三层结构还适用吗？

A: 适用。三层结构不是按文章数量设计的，是按内容来源和质量等级设计的。哪怕你只有30篇原创+50条摘要+20条社区精选，这三层仍然有效——原创是你的知识锚点，摘要帮你消化外部信息，社区补你的盲区。等你有200篇的时候再回来看，三层结构不会因为规模变大而崩塌——这是它比「全扔一起」值钱的地方。

Q: 摘要写了但不用AI知识库检索，不是白写了？

A: 摘要的价值不止于给AI知识库当饲料。写摘要的过程本身就是深层阅读——你用自己的话重新组织一遍别人的内容，这个动作会让你对内容的理解上升一个台阶。即使不用知识库，摘要的习惯也值得保持。很多选题，就是翻看旧摘要时想到的。

Q: 和Notion或Obsidian的知识库有什么区别？

A: Notion/Obsidian做的是人工检索的知识库——你记得大致在哪、自己手动找到它。AI知识库做的是语义检索——你描述你遇到的问题，它帮你找到相关内容。前者依赖你的记忆和组织习惯，后者依赖内容分块和语义匹配。三层结构同时服务两者：好的H2/H3结构方便人工浏览，合理的chunking策略保证AI检索的精度。

到底层，AI知识库和传统知识库不是在「存量」上竞争，而是在「检索效率」上竞争。传统知识库是你自己建的图书馆，AI知识库是配了个能听懂人话的图书管理员。三层结构就是给这个管理员配的工作手册——明确告诉他，哪个书架上的书是经典原著、哪些是读书笔记、哪些是别人推荐的参考书。

技术选型选的是图书馆的硬件——书架用什么材料、光照用什么配置。内容组织策略选的是图书管理员的工作方法。硬件决定了上限，工作方法决定了你现在能用到的下限。大部分人的知识库，连下限都没到。

下一篇文章打算拆一个真实案例——用三层结构重建一个完全跑偏的AI知识库，从检索命中率30%拉到85%以上的完整过程。身边有在折腾AI知识库的朋友，这篇可以直接发给他——少踩一遍坑。