提升RAG系统的回答质量：高质量企业文档解析（一）

大型语言模型在文本生成上确实挺强悍的，但问题在于，它们的“知识储备”大多来自公开数据。一旦企业想用自己的私有文档来生成精准回答，就得另想办法。微调LLM当然是一条路，可那对技术和成本的门槛要求实在太高，不是谁都能玩得转的。相比之下，RAG系统提供了一条性价比高得多的路径：直接在用户提问时，把相关的私域数据塞进去，让通用LLM结合这些信息来分析和总结。这样一来，回答的专业性和准确性就有了保障。效果如下图所示：

企业私有数据形成知识的重要性

为什么私有数据对RAG来说这么关键？说到底，企业里的技术手册、政策文件、客户档案、研究报告——这些文档才是真正有价值的“知识资产”。把它们转化为可检索的结构化数据，RAG系统才能按需访问和利用。这个过程能带来几个实实在在的好处：

• 提高回答的专业性
  ：确保输出内容符合企业的专业要求和标准，而不是泛泛而谈。

• 增强数据安全性
  ：通过私有数据的封闭检索，敏感信息不会被泄露到公网上去。

• 支持动态更新
  ：文档更新了，知识库也能跟着刷新，回答内容始终是最新的。

再深挖一层，企业的私有数据很少是单一格式的。常见的存储介质就包括：

1. 文本文档
   （如TXT、Markdown）

2. 办公文档
   （如DOC、DOCX、PPT、XLSX）

3. PDF文件

4. 数据库
   （如SQL、NoSQL）

5. 多媒体文件
   （如图像、音频、视频）

6. 专有格式文件
   （如设计图纸、技术说明书等）

这些文档里，数据可能是结构化、半结构化或者完全非结构化的。怎么把这些多样化的介质解析好、读透彻，是实现企业知识自动化检索与生成的第一道坎。

DOC和DOCX作为微软Word的格式，在企业文档中的占比相当高。但解析它们并不简单——不仅要有文本，还经常嵌入表格、图像、超链接、页眉页脚、注释甚至修订历史。这些元素带来了多层技术挑战。

1.

文本内容的解析

• 段落和标题
  ：DOCX的内部结构是用XML描述的，每个段落、标题都有明确标签。解析时要识别这些标签，才能提取出不同层级的文本结构。

• 字符样式
  ：字体、大小、颜色这些样式信息也能从XML里拿到，这对保留原始格式至关重要。

from docx import Document
def parse_docx_text(file_path):doc = Document(file_path)for para in doc.paragraphs:print(f"段落内容: {para.text}")

2.

表格内容的解析

• 表格结构
  ：企业文档里表格太常见了，比如财务报表、技术规范表。解析时需要精确识别每个单元格的数据，并保持其位置信息。

• 复杂表格
  ：合并单元格、嵌套表格这些情况，解析起来更费劲，需要特殊处理逻辑。

def parse_docx_tables(file_path):doc = Document(file_path)for table in doc.tables:for row in table.rows:print([cell.text for cell in row.cells])

3.

图像和其他嵌入对象的解析

• 图像
  ：DOCX文档里的图片，可以通过解析内嵌的标签来提取。

• 其他对象
  ：比如图表、公式、SmartArt，它们往往以二进制格式存储，需要借助特定库或API来解析处理。

def extract_images_from_docx(docx_path):doc = Document(docx_path)for rel in doc.part.rels.values():if "image" in rel.target_ref:print(f"提取图像: {rel.target_ref}")

4.

元数据的提取

• 作者、创建日期、修订历史
  这些元数据藏在文档属性里，对版本控制和溯源管理特别重要。访问DOCX文件的docProps就能提取到。

5.

处理批量文档

• 现实中，企业经常要批量处理大量DOCX文档，这时候就得考虑并行处理技术来提升效率。解析出来的内容还可以做语义切分，为后续的RAG应用打好基础。

import osfrom concurrent.futures import ProcessPoolExecutor
def process_docx_files(directory):docx_files = [f for f in os.listdir(directory) if f.endswith('.docx')]with ProcessPoolExecutor() as executor:for _ in executor.map(parse_docx_text, docx_files):pass

def __call__(self, filename, binary=None, from_page=0, to_page=100000):self.doc = Document(filename) if not binary else Document(BytesIO(binary))pn = 0lines = []last_image = Nonefor p in self.doc.paragraphs:if pn > to_page:breakif from_page <= pn < to_page:if p.text.strip():if p.style and p.style.name == 'Caption':former_image = Noneif lines and lines[-1][1] and lines[-1][2] != 'Caption':former_image = lines[-1][1].pop()elif last_image:former_image = last_imagelast_image = Nonelines.append((self.__clean(p.text), [former_image], p.style.name))else:current_image = self.get_picture(self.doc, p)image_list = [current_image]if last_image:image_list.insert(0, last_image)last_image = Nonelines.append((self.__clean(p.text), image_list, p.style.name))else:if current_image := self.get_picture(self.doc, p):if lines:lines[-1][1].append(current_image)else:last_image = current_imagefor run in p.runs:if 'lastRenderedPageBreak' in run._element.xml:pn += 1continueif 'w:br' in run._element.xml and 'type="page"' in run._element.xml:pn += 1new_line = [(line[0], reduce(concat_img, line[1]) if line[1] else None) for line in lines]
tbls = []for tb in self.doc.tables:html= ""for r in tb.rows:html += ""i = 0while i < len(r.cells):span = 1c = r.cells[i]for j in range(i+1, len(r.cells)):if c.text == r.cells[j].text:span += 1i = ji += 1html += f"" if span == 1 else f""html += ""html += "
{c.text}
{c.text}
"tbls.append(((None, html), ""))return new_line, tbls

def __call__(self, filename, binary=None, from_page=0, to_page=100000):self.doc = Document(filename) if not binary else Document(BytesIO(binary))pn = 0lines = []last_image = None

• 函数入口
  ：__call__是一个魔术方法，让类实例可以像函数一样被调用。它接受文件名、二进制数据、起始页和结束页作为输入参数，并将文档加载到self.doc中。如果提供了二进制数据，则使用BytesIO进行处理。

• 页数控制
  ：from_page和to_page参数允许我们控制从文档的哪个页开始解析，到哪个页结束。这在处理大型文档时特别有用，可以避免一次性加载整个文档导致内存过载。

for p in self.doc.paragraphs:if pn > to_page:breakif from_page <= pn < to_page:if p.text.strip():if p.style and p.style.name == 'Caption':former_image = Noneif lines and lines[-1][1] and lines[-1][2] != 'Caption':former_image = lines[-1][1].pop()elif last_image:former_image = last_imagelast_image = Nonelines.append((self.__clean(p.text), [former_image], p.style.name))else:current_image = self.get_picture(self.doc, p)image_list = [current_image]if last_image:image_list.insert(0, last_image)last_image = Nonelines.append((self.__clean(p.text), image_list, p.style.name))else:if current_image := self.get_picture(self.doc, p):if lines:lines[-1][1].append(current_image)else:last_image = current_image

• 段落遍历
  ：for p in self.doc.paragraphs遍历文档的所有段落。pn记录当前页码，控制页码范围内的解析。

• 文本和图片处理
  ：

• 段落文本
  ：如果段落有文本内容且属于指定页码范围，则提取文本并进行清理（self.__clean）。

• 图片处理
  ：如果段落样式为“Caption”（说明文字），则判断是否与图片相关联，关联的图片会被提取出来并添加到lines列表中。对于普通段落，提取图片后也将其加入lines列表。

for run in p.runs:if 'lastRenderedPageBreak' in run._element.xml:pn += 1continueif 'w:br' in run._element.xml and 'type="page"' in run._element.xml:pn += 1

• 分页符处理
  ：for run in p.runs遍历段落中的每一个运行块（run），检测是否存在分页符或手动分页符，并据此增加页码计数pn。

    new_line = [(line[0], reduce(concat_img, line[1]) if line[1] else None) for line in lines]

• 数据整合
  ：将解析的行数据（文本+图片）进行合并处理。reduce(concat_img, line[1])会将同一行中的多张图片合并。

tbls = []for tb in self.doc.tables:html = ""for r in tb.rows:html += ""i = 0while i < len(r.cells):span = 1c = r.cells[i]for j in range(i+1, len(r.cells)):if c.text == r.cells[j].text:span += 1i = ji += 1html += f"" if span == 1 else f""html += ""html += "
{c.text}
{c.text}
"tbls.append(((None, html), ""))return new_line, tbls

• 表格解析
  ：遍历文档中的每一个表格，将表格内容提取并转换为HTML格式。对于单元格内容相同且连续的情况，使用colspan合并单元格。

• 结果返回
  ：最终函数返回提取的文本和图片组合（new_line），以及转换为HTML格式的表格（tbls）。

这段代码展示了如何精确地提取文档的核心信息，包括段落、图片和表格。通过控制解析的页码范围，可以高效处理大型文档，而对于图文并茂的文档，这段代码尤其有价值。

在RAG系统中，这样的解析步骤可以帮助企业将非结构化文档转化为结构化数据，并通过进一步的语义切分和向量化处理，为后续的检索和生成提供高质量的输入。这段代码不仅展示了文档内容提取的技术实现，还表明了在复杂文档环境下，精确的文本与图像关联处理对RAG系统的重要性。