AI搜索的原理

AI搜索，拆开来看其实并不神秘

AI搜索听起来像是黑科技，但本质上，关键的技术底座还是落在AI这边，而非搜索本身。即便没有搜索引擎，你直接扔给大模型一个问题，它也能给出答案——搜索只不过是在这个过程中，额外塞给它一些它可能不知道的上下文信息，来提升答案的准确性。这套机制有一个正式的名字：检索增强生成（Retrieval-Augmented Generation，简称RAG）。说白了，就是给AI多喂一些背景资料，让它回答时更有底气。

我们来看一个具体的prompt示例——它来自search with lepton项目，后来在Infinite Search项目里稍微改了一版：

private val ragText = """
You are a large language AI assistant built by VLINX Software. You are given a user question, and please write clean, concise and accurate answer to the question. You will be given a set of related contexts to the question.

Your answer must be correct, accurate and written by an expert using an unbiased and professional tone. Please limit to 1024 tokens. Do not give any information that is not related to the question, and do not repeat. Say "information is missing on" followed by the related topic, if the given context do not provide sufficient information.

your answer must be written in the same language as the question.

Here are the set of contexts:

{{context}}

Remember, don't blindly repeat the contexts verbatim. And here is the user question:

""".trimIndent()

这个prompt和我们平时直接问AI的提示词，本质上没有太大差别。真正的门道，藏在那个 {{context}} 怎么填充上。

如何给AI提供好用的上下文信息

RAG并不只服务于AI搜索，它几乎可以应用到任何需要信息检索的场景里。比如你扔给它一本书，让它找出某个知识点；或者喂一堆医学文献，让它变成你的私人医疗助手。所有这些应用的核心，都是信息的检索——也就是上面说的，怎么给AI提供合适的上下文。而支撑这项能力的底层技术，是向量数据库。

向量数据库里的“向量”，指的就是文本向量。简单来说，就是把一段文字（或者一个个token）转化成数值形式。比如“hello”对应一个向量 [1,1,1,1]，“word”对应 [2,2,2,2]。这么做的意义在哪？因为这些向量是通过预训练模型算出来的，语义相近的文本，它们的向量数值也会很接近。比如“like”的向量可能是 [36,37,38,39]，“love”是 [33,36,39,38]，而“hate”是 [99,88,77,99]。显然，“like”和“love”在向量空间里离得很近，和“hate”的距离就远得多。基于这个特性，当你搜索某个关键词时，向量数据库可以快速找出最相似的文本片段，然后把它们作为上下文送给AI。AI结合自身知识库和额外上下文，生成最终答案。

RAG搜索的典型流程

1. 把文本资料转换成向量，存入向量数据库。
2. 根据用户输入的关键词，从向量数据库中检索出一定数量的最接近的文本条目，作为上下文信息提供给AI。
3. AI结合自身能力与上下文信息，给出答案。

AI搜索的局限性在哪里

从上面的分析不难看出，RAG天然适合知识检索领域，尤其是那些大模型本身没训练过的私域知识。如果提前把大量专业领域的文本切好、转向量、存进库，等到查询时直接从库里捞最匹配的内容给AI，效果会非常好。但AI搜索面临的难题在于：你无法预知用户会搜什么，也就没法提前把所有可能的内容都准备好。

那么怎么办呢？只能在搜索过程中实时处理：先爬取一定数量的网页内容，切割、分析、转向量、存入临时库，再从库里检索相似内容提交给AI。这个过程对实时性要求很高，消耗的时间会让用户体验大打折扣——和传统搜索引擎那种“秒出结果”的爽快感差得很远。

另一种折中方案是，干脆不爬网页，直接拿搜索引擎API返回的摘要信息作为上下文。这个做法快是快了，但信息缺失严重，导致搜索结果准确性大打折扣，有时候效果只比直接问AI好那么一点点。search with lepton采用的就是这种摘要直接提交的方式；而Infinite Search做了一些改进：它会爬取搜索结果中排名最靠前的两个网页的完整内容，再加上其他搜索结果的摘要，一起存入向量数据库，然后再从中检索出最接近用户问题的内容作为上下文。