Unstructured.io：让企业非结构化数据 LLM-Ready

企业想用好LLM，高质量数据是绕不开的前提。相比传统机器学习模型，LLM对数据的需求量更大、要求也更高，尤其是那些占企业数据总量80%的非结构化数据。问题在于，传统的ETL工具压根不擅长处理这类数据——文本、PDF、幻灯片、邮件、聊天记录……于是，数据科学家们不得不把大量时间耗在数据准备环节，不仅拖慢了LLM部署的节奏，也让人力投入的ROI变得很难看。

Unstructured.io的CEO Brian Raymond敏锐地捕捉到了这个痛点，一心一意帮企业解决非结构化数据的处理难题。简单来说，Unstructured做的事情就是在数据摄入（data ingestion）环节，把非结构化数据提取出来，分割成更小的逻辑单元，同时生成元素级的元数据，最后将处理好的数据以JSON格式返回给用户。

另一个不可忽视的优势在于，团队深刻理解大企业和政府机构的真实需求——CEO的政府背景带来了充足的资源支持。Unstructured.io已经拿下了不少大客户订单，并且跟美国空军、太空部队等政府部门建立了合作。

当然，非结构化数据处理这个赛道还处在起步阶段，Unstructured.io要面对云厂商、上下游公司以及其他初创公司的竞争。往后看，Multi-step agents和多模态技术的应用可能会打开新的机会窗口。我们在硅谷了解到，未来几个月模型推理能力会进一步提升，multi-step agent可能逐步落地，我们也期待非结构化数据领域能解锁更多的商业价值。

01 Unstructured.io 的市场机会
02 什么是 Unstructured.io
03 市场竞争
04 结论与猜想

企业正在大规模采用LLM。麦肯锡的调研显示，2023年是AI在企业端渗透率增长最快的一年——从55%飙升到72%，整整提高了17个百分点。如果把范围缩小到生成式AI，增速更惊人：一年内从33%涨到65%，翻了一番。摩根士丹利2024年第二季度的CIO调查也预测，2025年企业级GenAI的采用率还会继续攀升。

Source: The state of AI in early 2024: GenAI adoption spikes and starts to generate value, May 30, 2024 | Survey, McKinsey & Company

把LLM用好的前提，是为它喂高质量的数据。企业的数据分为结构化数据和非结构化数据——后者占了80%。但在LLM出现之前，企业ETL主要处理的是结构化数据。原因很简单：传统ETL工具没法从非结构化数据中提取足够特征，而且传统机器学习模型受智能水平限制，对数据精确度的要求比LLM更高，所以非结构化数据一直没被好好利用起来。

LLM与传统机器学习模型相比，有两点本质区别：

•

想让LLM掌握企业内部或特定领域的知识，主流做法有两种：Fine-tuning（微调模型）或RAG（检索增强生成）。Fine-tuning把特定知识编码到模型记忆里；RAG则实时从大量数据中检索信息，帮模型获取最新内容。无论哪种方式，都需要大量非结构化数据。

使用 Unstructured 对大模型进行 finetune

•

这样一来，即使非结构化数据没有被处理得尽善尽美，也有机会用起来。

所以LLM（尤其是RAG）的广泛应用，大大增加了企业数据处理的工作量。Unstructured.io的调研显示，数据科学家要把超过3/4的工作时间花在数据准备上，人力成本极高。说白了，就算LLM对精确度要求降低了，想把RAG做好也绝非易事——“the devil is in the details.” Unstructured.io的优势就在于，通过大量细致的工程化工作，把这些细节处理得妥妥当当。

What is RAG

RAG的工作流大致是：数据提取及处理（data ingestion and preprocessing）→ 索引创建（index creation）→ 检索（retrieval）→ 回答生成（answer generation）。

在data ingestion环节，需要把数据提取出来，分割成更小的逻辑单元（称为“元素”），生成元素级元数据，再转化成JSON等结构化格式。这一步做得够不够精细，直接影响后续数据清理、分块、生成块摘要以及embedding的效果。这是难点，也是Unstructured的看家本领。传统清理数据的方式，得写大量正则表达式、自定义Python脚本去识别页眉页脚、重复模板等不需要的内容，而Unstructured能做到每个文档元素都有明确的分类标签或元数据标记——数据科学家可以直接利用这些元数据快速锁定需要的内容。

做embedding时，开发者通常会把源文件切成若干块，这样颗粒度更细、检索更准；同时LLM的上下文窗口有限，每次都处理整个文档成本太高，效果也受影响。传统的chunking方式是按字符长度等分文档，但这种方法反映不出文本的逻辑结构。而Unstructured因为对数据分割足够精细，文档元素已经被分类，所以可以根据内容逻辑来分块，还能生成块摘要，识别并单独提取文档中的文本、图像和表格等元素。

Unstructured Chunking 方式和传统 Character Splitting 的不同

使用embedding models将文本表示为向量字符串（浮点数列表），其中编码了底层数据的语义信息。Embedding允许根据语义相似性（而非仅关键字匹配）来搜索文本，是很多LLM应用的核心。开发者选好合适的切分技术和嵌入模型后，Unstructured平台会自动处理模型的调用、部署和运行，生成的嵌入向量会被整理输出并存储在数据库中，供后续分析使用。

Unstructured.io是前美国中央情报局分析师Brian Raymond于2022年7月创立的。创立之前，Brian和创始团队都在NLP领域的公司工作，他们发现了一个共同的困境：客户因为无法处理非结构化格式的数据，始终没法好好应用AI模型。

于是，Unstructured.io成立后首先发布了开源的非结构化数据提取工具，把企业的非结构化数据从“牢笼”里解放出来。同时，Raymond的政府背景相当深厚——Unstructured.io得到了美国空军、美国特种作战司令部的支持，靠与大企业和美国政府合作来打磨商业化版本的产品。

前面已经提到过，

用户可以结合其他工具和库进一步处理这些数据，最终应用于LLM。

企业里非结构化数据处理以PDF为主，是因为大多数数据最终都会被转化成PDF格式存储——文章、纪要、财务报表等等。而从PDF中提取数据一直是数据科学家很头疼的事：表格被锁住、格式混乱、内容无法访问……问题层出不穷。

不过，为了获取更大的市场，Unstructured.io也搭建了端到端的企业级平台，支持整个工作流。

Unstructured.io从开源起步，产品形态不断丰富。目前的产品包括SaaS、Serverless和Marketplace API，以及企业级平台，满足了不同客户的需求。

最早发布的产品，官网上显示已经被下载了六百多万次，被4.5万个组织使用，其中包括三分之一的财富500强公司。包括数据提取器、文档分割器和数据转换器。

• 数据提取器：从各种格式文档中提取内容，如PDF、Word等。
• 文档分割器：把文档内容细化为更小的逻辑单元，便于进一步分析。
• 数据转换器：将提取和分割后的数据转换成标准化格式（以JSON为主），供下游应用和模型使用。

开源Python库适合产品原型开发，目前只做基础维护工作，

更高级的chunking方式、更多格式的文件和图像处理等功能，只有商业版用户才能用。

分为SaaS API、Serverless API、Marketplace API。核心组件与开源产品类似，但支持更多的chunking方式、文件种类，性能也更好。

• SaaS API（今年1月推出）：由Unstructured托管，用户只需调用API，无需管理底层基础设施。目前已有超过1000个付费用户，

• Serverless API（今年6月推出）：同样由Unstructured托管，但比SaaS版更灵活地处理高并发请求，
• Marketplace API（今年2月推出）：由客户自行托管在AWS或Azure等云平台上，数据完全在公司内部基础设施内处理，

一个提供可视化用户界面，让用户不写代码就能创建完整的ETL工作流。商业模式包括“即用即付”和订阅计划，也可以定制方案。

它适合拥有

• 支持从10个数据源提取文档内容（如Azure Blob Storage、S3、Google Drive等）。
• 标准化输出传送到10个目标数据源（如Pinecone、Wea viate、S3、Postgres等）。
• 通过workflow连接源和目标，支持运行和调度工作流。
• 监控工作流状态。

Unstructured的产品还处于早期，未来有大量功能值得开发。产品规划已经涵盖了很多方向：集成更多源和目标连接器、增加音频和图像处理、支持用户自定义embedding模型、集成Azure AI Document Intelligence和AWS Textract、增加数据存储和向量同步能力，推出新一代表格和表单提取模型等等。

根据产品分析和客户访谈，Unstructured.io最突出的优势有以下几点：

企业反馈Unstructured大大提升了非结构化数据的处理效率。处理多个不同类型文件时，

速度慢、推理成本高。而Unstructured对不同的文件类型（PDF、Word、Excel等）都提供专门的数据提取方法，可以直接处理原始文件，省去了转图像的步骤，效率更高。

这背后是

一些传统预处理工具（如Azure Document Intelligence）只能对特定文件类型分类，元素层级也有限——比如只能识别正文和标题。而Unstructured分类更细致，生成metadata，成本还更低。

分类细致的最大好处是方便做下一步的cleaning，可以采用混合搜索和基于metadata过滤的方式实现更精确的内容控制（比如只处理正文，图像和文本分开处理），还可以按语义分块。

当然，它也没覆盖所有场景——客户认为还需要覆盖更多数据格式。

Unstructured.io的开源代码库包含25多个源连接器和10个目标连接器，尽量覆盖用户的所有使用场景。比如与LangChain、LlamaIndex等集成，进一步方便了GenAI应用的开发。Unstructured还把这些打包进了商业版企业平台——一个无代码界面的仪表板，可以直接创建和管理RAG工作流。

尽管有开源版本，Unstructured.io在付费客户获取上做得相当不错。2024年3月完成B轮融资时，1月份推出的商业版SaaS API就已经有超过1000个付费客户，其中包含不少大型企业和政府订单。

配合其他工具（如Milvus、Elasticsearch、LlamaIndex、LangChain等）一起使用。比如高通采购了商业版SaaS API，用于从财务文件和产品数据表（PDF、Word、Excel）中提取信息；Adobe则把Unstructured.io用于内部模型训练和微调的数据准备pipeline，也用于PDF和Photoshop中的摘要、问答功能。

比如Adobe预计会在5000美元/年的基础上有2-3倍的增长；IQVIA也表示，试点阶段投入相对较低，如果全面投入使用，成本可能在500万到1000万美元之间。

商业版本准确性更强、覆盖文件类型更多，也提供企业级部署支持，Unstructured从开源到商业化的路径相对顺畅，预计未来收入会持续提升。

不过客户普遍认为Unstructured面临来自大型云厂商、上下游公司以及其他创业公司的潜在竞争。

针对特定行业领域提供针对性解决方案，是Unstructured建立壁垒的潜在机会。

Unstructured.io的创始人兼CEO Brian Raymond早期是政客出身——曾在美国中央情报局（CIA）担任情报官员，后来在白宫负责伊拉克和ISIS的外交政策。在ISIS于伊拉克和叙利亚迅速崛起期间，他与奥巴马总统和拜登副总统紧密合作。

之后，他加入初创公司Primary AI，为公共部门和国家安全领域提供NLP解决方案。Brian深入研究如何基于Transformer构建知识图谱和企业工作流，并意识到数据预处理在AI/ML项目中、尤其是在处理复杂的政府内部文件时极其重要。这促使他创立了Unstructured.io，专门为企业和政府简化数据准备过程。

Unstructured.io的团队由来自开源社区、大型企业和美国国防情报机构的技术专家组成。推出商业化产品后，Brian组建了销售团队。目前，团队在技术、市场和客户服务领域实力强劲，有能力承接大型企业和政府机构的需求。

Unstructured.io累计获得6500万美元投资，投资方包括AI生态上层公司LangChain和Databricks——可以看出它在Gen-AI生态系统中的重要性已经得到认可。

非结构化数据的提取是数据处理工作流中的一个环节，如果市场机会足够大，工作流里的玩家都有动力也有机会延伸进来。根据客户访谈分析，Unstructured.io主要面临来自大型云厂商、上下游公司及其他初创公司的潜在竞争。

客户访谈显示，Amazon、Azure等云厂商也在尝试开发非结构化数据处理工具，但由于这个领域技术较新，大厂动作慢，至今还没拿出能匹敌Unstructured的产品。

云厂商的优势很明显：

，他们可以通过与现有产品（存储、计算、数据分析工具等）集成，为客户提供一站式服务；，庞大的客户基础和资源使得交叉销售更顺畅；还能通过规模效应降低成本，提供更有竞争力的定价。

目前，Unstructured.io在数据提取准确性上有明显优势；作为创业公司，在客户服务、定制化需求响应速度上也更灵活、更及时。

客户访谈提到，许多向量数据库公司也在开发自己的非结构化数据处理API，比如Milvus、Chroma、Pinecone。如果向量数据库发布类似产品，用户就能在同一平台内完成从数据预处理到存储、检索的全流程。不过这些公司尚未完全发布产品，具体能力还有待观察。

这些初创公司专注在不同领域，如LlamaIndex、Hammerspace提供相对综合性的数据处理工具，Clarifai专注图像和视频处理。

其中LlamaIndex的非结构化数据提取工具LlamaParse与Unstructured.io直接竞争。LlamaIndex的端到端开源生态对Unstructured.io构成一定挑战。我们在Unstructured.io的Slack中观察到，很多用户有集成LlamaIndex的需求，而LlamaParse在准确性上也达到了类似Unstructured.io的水平。这也进一步佐证：非结构化数据ingestion可能并不具备明显的技术壁垒，更多是工程优化问题。

两家公司未来可能会获取不同的客户群——

这些领域对数据安全性、准确性和专业化要求更高；而LlamaIndex可能更多面向需要快速集成和灵活性的中小企业与开发者社区。

但这个优势很容易被资源更充足的大厂或技术实力更强的创业公司追平——比如LlamaParse已经达到了类似效果。

Unstructured.io的核心团队由政府官员、大企业高管、AI researcher组成，资源硬核且懂大企业的需求。CEO Brian的政府资源以及政府对非结构化数据处理的旺盛需求，也让Unstructured.io拿下了大量政府订单。

Unstructured.io面临大型云厂商、上下游公司，以及已经搭建了完整RAG开源工具的初创公司（如LlamaIndex）的竞争。目前RAG处于发展早期，格局还难以预判。

非结构化数据处理未来有很多潜在变化可能，我们会持续关注：

Raymond在访谈中提到，Agents能自动化数据检索和处理，还能通过多步推理显著提高准确性和效率。这种转变将减少对数据预处理的依赖，赋予LLM更强的处理复杂任务的能力。

随着模型能够处理和解析图像、视频等多种媒体，企业可能需要重新设计数据转换和检索pipeline，以更好地利用这些新能力——这也为创业公司带来了机会。