Coze插件发布！PDF转Markdown功能便捷集成，打造你的专属智能体

2024

08/14

如果你正在Coze平台上搭建自己的智能体，并且被PDF文档的处理问题困扰过，那么今天有一个好消息：TextIn开发的PDF转Markdown插件，已经正式上架Coze平台了。

直接在扣子搜索“pdf转markdown”，或者在Coze平台搜索“pdf2markdown”，就能找到这个插件。把它集成到你的智能体中，文档解析功能就直接到手了。具体效果如何，直接对话bot试用一下就知道了，免费测试，不用纠结。

对于有搭建工作流需求的朋友，TextIn团队还准备了简单的Workflow示例，可以直接复制使用，省去不少折腾的工夫。

那么，这个插件能做什么？简单来说，它提供的是和TextIn网页端、API调用同等级别的服务能力：

• 大文件
  ：同步接口目前支持最大500MB的文件，未来还会进一步提升。

• 长文件
  ：当前最长支持1000页，而开发计划已经将目标定到了5000页。

• 高速度
  ：百页级别的PDF解析速度很快，基本不用长时间等待。

值得一提的是，每位用户都能免费享受1000页的额度。对于小体量的解析需求来说，这个额度基本够用，可以说是实现了某种意义上的“额度自由”。

总的来说，PDF转Markdown插件的上线，给有PDF文件处理需求的用户提供了一个值得信赖的工具选项。

版面分析技术

聊完了插件，我们得回到一个更本质的问题：PDF文件为什么这么难处理？

答案在于它的视觉编码特性。PDF中呈现的内容，本质上是一堆“看起来是什么样”的指令，而不是“文本是什么”的结构化数据。这导致其中的内容很难被直接提取或二次编辑。长期以来，PDF经常成为知识“沉睡”的终点——有价值的资料存在里面，但取不出来。

到了大模型时代，这个问题变得更加突出。打造一个“聪明”的AI，除了算力之外，高质量的语料是毋庸置疑的基础设施。中文语料缺口已经成为业内关注的焦点之一。而现阶段，大量高质量的中文语料数据，恰恰存在于书籍、论文、研报、企业文档这些PDF格式的文档之中。复杂的版面结构，成了大模型训练语料处理和文档问答应用能力的最大制约因素。

文档解析技术，就是要解决这个难题。它的核心目标是让机器能够识别文档中的多种元素，更好地处理文本、表格、图像等多类型数据，还原文档的阅读顺序，从而服务各类AI应用和智能体的开发。

TextIn在文档解析方面的技术路径，主要依托物理版面分析与逻辑版面分析两大技术。

侧重的是视觉特征和文档布局。它的主要任务是把相关性高的文字聚合到一个区域——比如一个段落、一个表格——然后选用目标检测任务进行建模，通过基于回归的单阶段检测模型来拟合，最终获得文档中各种各样的布局方式。

则更侧重语义特征的分析。它的任务是按照语义的层次关系，把不同的文字块进行建模，最终形成一个类似目录树的结构。这就像是一个有逻辑头脑的整理师，不仅知道每一块内容长什么样，还知道它们之间谁是谁的“上司”。

TextIn在文档智能领域积累多年，在文字、表格识别OCR技术的基础上，逐步搭建起版面分析的能力。随着深度学习技术的发展，版面分析的能力得到了显著提升，处理复杂文档布局不再是幻想。其核心当然离不开深度神经网络，尤其是卷积和循环神经网络，通过这些网络对文档页面的布局和结构进行自动分析和理解。

具体来说，版面分析技术主要包括以下几个关键步骤：

• 元素检测：
  利用深度学习模型（比如Faster R-CNN、YOLO、SSD等），对文档图像中的各种元素进行检测和定位。这些元素可以是文字、图像、表格、标题等等。这一步能确定每个元素的位置和边界框，为后续分析打下基础。

• 元素分类：
  在检测到元素后，再进行分类，区分出哪些是文字，哪些是图像，哪些是表格。这一步通常借助图像分类模型或目标分类模型，对每个元素进行识别归类，便于后续的结构解析和语义理解。

• 结构解析：
  在检测和分类的基础上，进行文档的结构解析，识别不同元素之间的关系和层次结构。比如，一个文本段落属于哪个标题？表格中不同字段的逻辑关系是什么？深度学习模型通过对文档布局和语义信息的分析，能够自动完成这一步。

• 版面校正：
  对检测到的元素进行版面校正，让它们在整体文档中的位置和排布更加合理和统一。这包括文本对齐、图像矫正、表格对齐等操作，目的是提升文档的可读性和美观性。版面校正同样可以通过深度学习模型实现，比如基于生成对抗网络（GAN）的版面重构方法。

从插件上线到背后的技术原理，可以看到，文档解析正在从一个“补丁”式的工具，演变为AI基础设施中不可或缺的一环。对于正在搭建智能体或者处理大量PDF文档的从业者来说，这不只是一个便利工具的上线，更是一个值得持续关注的技术方向。