使用 Phi-2 使用 OpenLLM 和 LlamaIndex 构建智能系统

说到自然语言处理（NLP）的演进，这两年最火的莫过于开源大模型（LLM）的爆发式增长了。而在这个浪潮里，

和 这两个工具，正在悄悄改变开发者与 LLM 打交道的方式。前者把部署、微调、监控多个开源 LLM 的苦活变成了点几下鼠标的事，后者则打通了通用大模型与专用业务数据之间的壁垒。当两者联手，一个能真正理解上下文、精准回答问题的智能查询系统就诞生了，这才是 AI 落地的正确姿势。

定义

：一个面向实际应用的开源平台，核心功能是把各种开源 LLM 的部署、编排、服务、监控全链路打理得服服帖帖。无论你想微调还是直接上生产，它都提供了友好的操作界面，省去了一大堆底层配置的麻烦。

：一个扩展框架，专门解决“大模型不懂你的私有数据”这个痛点。它像一个智能桥接器，把企业知识库、内部文档等特定领域数据无缝融入 LLM 的能力中，让通用模型长出“行业大脑”，回答问题时不再是白纸一张。

集成的好处

把这两个工具拼在一起，效果远不止 1+1=2：

1. 自定义
   ：你可以让 AI 解决方案真正贴合自己的数据上下文，而不是用通用的回答糊弄用户。查询响应的精准度和智能感瞬间拉满。

2. 增强的智能
   ：LlamaIndex 负责把领域数据喂给 LLM，模型的知识库一下子从“教科书”变成了“行业实战手册”，回答自然更靠谱、更有针对性。

3. 可扩展性
   ：OpenLLM 对多种开源 LLM 的支持 + LlamaIndex 对多类型数据的灵活管理，意味着你的 AI 应用可以从小规模验证平滑扩展到全业务线，适应未来的增长完全不是问题。

代码实现

动手实现这套系统，流程其实很清晰：搭环境、装包、起一个 LLM 服务，然后通过 OpenLLM 的 API 和 LlamaIndex 协同干活。下面拆成两个步骤来看。

pip install "openllm[vllm]" llama-index
TRUST_REMOTE_CODE=True openllm start microsoft/phi-2 --quantize int8

第一行把两个核心库装好，第二行用 OpenLLM 启动一个量化后的 phi-2 模型（当然也可以换成其他开源模型）。注意 TRUST_REMOTE_CODE 这个环境变量，部分模型需要它才允许执行远程代码。

from llama_index import VectorStoreIndex, SimpleDirectoryReader, ServiceContext
from llama_index.llms.openllm import OpenLLM
from llama_index.text_splitter import SentenceSplitter
from llama_index.llama_dataset import download_llama_dataset

rag_dataset, documents = download_llama_dataset(
    "PaulGrahamEssayDataset", "./data"
)

llm = OpenLLMAPI(address="http://localhost:3000")

# 将文档切分成 1024 字符的块，块之间重叠 20 个字符，避免信息断裂
text_splitter = SentenceSplitter(chunk_size=1024, chunk_overlap=20)

# 创建 ServiceContext，把刚才定义的 LLM、embedding 模型以及切分器都传进去
service_context = ServiceContext.from_defaults(
    llm=llm,
    embed_model="local",
    text_splitter=text_splitter,
    context_window=8192,
    num_output=4096,
)

# 基于文档构建向量索引，开启 deep memory 可以强化长期记忆
index = VectorStoreIndex.from_documents(
    documents,
    service_context=service_context,
    vector_store_kwargs={"deep memory": True}
)

# 用索引创建查询引擎，然后问个问题试试
query_engine = index.as_query_engine()
response = query_engine.query("Who is Paul Graham?")
print(response)

整个流程完美演示了如何把本地私有文档（这里用的是 Paul Graham 的文集）向量化，然后通过 LlamaIndex 让 LLM 基于索引结果生成回答。注意 context_window 和 num_output 要根据模型的最大输入输出调整，别让内容被截断。

结论

OpenLLM 和 LlamaIndex 的整合，给智能查询系统开了一扇新的大门。它不只是一次技术集成，更是一种思路：当通用大模型遇到专属业务数据，真正的“智能”才被激活。站在开发者的角度，这两个工具让定制 AI 落地的门槛大大降低——你不需要从零搭建模型平台，也不需要为数据融合挠破头皮。

随着这些平台生态越来越成熟，能做的事会远超现在的想象。这篇内容如果能帮你打开一点思路，那就值了。接下来不妨亲手跑一遍上面的代码，体验一下“私有知识 + 大模型”带来的真实效果。