使用FastGPT实现本地焊接知识库“带图”回答

最近一直在打磨焊接本地知识库和RAG问答系统。LLM的回答时而惊艳，时而让人哭笑不得——有意思，但也难免让人嘀咕：光有文字没有图，总感觉缺了点直观性。绕来绕去，核心症结就是：无图！

01 前言

在折腾过程中，偶然看到B站UP主“崩坏的领航员”分享了一个思路：对知识库“动手脚”——特意添加一条记录，内容就是图片的相关信息或标题，同时在辅助数据里按Markdown规则把图片URL写进去。这样问答时URL就会被当作答案输出。因为FastGPT的界面本身就支持Markdown，图片自然就能显示了。

不过亲自试了一遍之后发现，其实FastGPT自带了相关功能。在上传文件建立知识库时，系统会自动将文档中的图片上传到本地服务器（推测如此），并给每张图片自动命名。

以文档中第一张图片为例，它在知识库中的标记是“/api/system/img/661a45aa5117439f22da7f61”。确认建库后，在浏览器中输入“localhost:3000/api/system/img/661a45aa5117439f22da7f61”就能直接查看图片。

所以，一旦检索到的知识库片段包含图片标记，同时提示词里也包含了“图片需求”，LLM就会把标记揉进答案里，图片自然呈现在回答界面中。

02 方法

其实上面的方法算是误打误撞发现的。刚开始反复尝试不出图，原因在于LLM对图片标记的处理很不稳定，常见问题包括：

图片标记并不是基于FastGPT的3000端口，而是LLM自己编造出来的，或者根据知识库内容改编的。因为标记只是一个相对路径，LLM经常把握不住。

后面有时跟着知识库标记号，有时又是其他编号，总之非常奇怪。

当知识库中图片标记较多时，尤其在图片和标题离得较远的情况下，LLM会“借题发挥”——多出图、出错图。

03 问题

目前想到的应对方案是：先将Word文档中的图片提取出来，自己搭建一个虚拟服务器，把图片地址URL化；然后再把URL导入原始Word文档。这样生成知识库时，图片地址、原文和用户问题之间的语义关联性会更强——既能保证图片正常显示，也能最大程度避免图片错乱。

04 对策