BigSet：开源 AI 多智能体数据集工具，自然语言驱动全自动数据采集

一、BigSet 是什么

先直接说结论：

是一套基于 架构搭建的 。它采用 AGPL-3.0 开源协议，主体用 TypeScript 开发，支持本地直接跑，也支持 Docker 私有化部署。

传统的网页数据采集或者数据集制作，是什么画风？写爬虫脚本、手动设计数据库表结构、配置一堆抓取规则，完了还得花大量时间清洗整理——整个流程技术门槛高，而且极其耗时，非技术人员基本只能望而却步。但 BigSet 彻底换了个思路：

。你只需要用正常说话的方式描述“我想要什么数据”，系统就能自动完成所有工作——从数据源检索、字段定义、并行抓取、数据清洗、格式导出，再到定时更新，一气呵成。

它的核心目标很明确：降低结构化数据集的生产门槛。让运营、市场、数据分析师、中小开发者这些群体，都能快速从公开互联网信息中生成标准、可用的结构化数据集。而背后的多智能体协同机制，则保证了数据真实、完整、合规。

一句话概括：BigSet 抛弃传统爬虫的操作逻辑，以大模型+多智能体为核心，实现了从“自然语言指令”到“全自动数据集产出”的一站式能力。

二、功能特色

BigSet 的功能设计围绕四个关键词：

。它覆盖了数据集从创建、采集、清洗到长期维护的全生命周期。来看重点：

1. 自然语言驱动，零代码创建任务

不需要懂编程，不用知道爬虫是什么，更不用碰数据库。你直接说人话——“帮我采集最近一个月国内各家云厂商的GPU实例价格，包括型号、每小时单价、所在地域”，系统就能自动理解，并且替你完成数据表结构设计：字段名称、数据类型、主键、分类规则……全部自动搞定。

2. 多智能体协同并行采集

这里用的是

，不同智能体各司其职，同时干活：

• 调度智能体：负责全网检索合规的公开数据源，梳理采集目标与来源链接；

• 执行智能体：多实例并行抓取对应页面数据，提升采集效率；

• 校验智能体：实时核验数据真实性，拒绝虚构、篡改内容，保证数据集可靠。

3. 全自动数据清洗与规整

采集完不是直接扔给你——系统会自动跑一套标准化处理流程：

，一步到位。你拿到的就是干净、统一的结构化数据，不需要人工二次整理。

4. 灵活定时自动更新

对于那些动态变化的数据（比如价格、招聘信息、行情数据），BigSet 支持多档位定时任务：30分钟、6小时、12小时、每日、每周任你选。设置好后，数据集就会自动迭代更新，再也不怕数据过时。

5. 多格式导出，适配多场景使用

最终数据集支持主流的

格式导出。无论是统计分析、业务报表，还是二次开发，直接拿来就能用。

6. 私有化部署，保障数据隐私

原生支持 Docker 容器化部署。你可以把整个项目部署在自己的本地服务器或内网环境里，所有采集请求、数据内容都只留在私有环境中，完全规避公网服务的数据泄露风险。对于有隐私合规要求的企业来说，这一点很关键。

三、技术细节

这一节我们从开发语言、架构设计、核心组件、运行部署、数据处理逻辑五个维度，把 BigSet 的底层技术拆开来看。尽量讲得通俗，技术人员和非技术人员都能看懂。

1. 基础开发环境

• 主力开发语言
  ：TypeScript，基于 Node.js 运行时，兼顾代码健壮性与跨平台能力；

• 运行环境
  ：支持 Windows、Linux、macOS 全主流操作系统，本地单机跑或服务器部署都可以；

• 开源协议
  ：AGPL-3.0，可以自由使用、修改、二次开发，但二次分发需要遵守协议规范。

2. 核心架构：多智能体协同架构

这是 BigSet 最核心的技术亮点，整体采用

，分层非常清晰：

1. 交互层
   ：前端可视化界面，接收自然语言指令、展示任务状态、提供导出和配置入口；

2. 调度中枢层
   ：全局任务调度模块，解析用户自然语言需求，拆解任务并分配给不同的执行智能体；

3. 智能体执行层
   ：由检索智能体、抓取智能体、校验智能体、清洗智能体组成，各模块解耦独立运行，支持横向扩容；

4. 数据存储层
   ：本地文件/轻量存储，用于持久化采集任务、原始数据、清洗后的数据集，轻量化设计，不需要依赖重型数据库。

3. 自然语言理解模块

集成了大模型能力，负责

。用户非结构化的文字描述，会被自动转化为标准化的数据表 Schema，包括字段名、字段属性、数据约束——替代了传统的人工建表工作。

4. 数据采集与网络请求

• 采用轻量化网络请求引擎，模拟正常浏览器访问行为，降低被反爬拦截的概率；

• 支持并行调度，多个抓取智能体同时工作，大幅提升大批量采集速度；

• 内置访问频率控制机制，合规控制请求频次，避免给目标站点造成压力。

5. 数据清洗引擎

内置规则化清洗逻辑，流程固定且全自动化：
原始采集数据 → 重复数据剔除 → 空字段过滤 → 文本格式统一 → 异常数据标记 → 标准结构化数据集

6. 部署方式技术说明

项目提供两种部署方案，对应不同使用需求：

1. 本地直接运行
   ：依赖 Node.js 环境，拉代码装依赖就能启动，适合个人或小团队临时用；

2. Docker 容器部署
   ：官方提供标准镜像，一条命令完成部署，环境隔离、一键启停、迁移方便，是企业或长期使用的首选方案。

Docker 部署核心示例代码

#拉取BigSet镜像dockerpulltinyfish-io/bigset#启动容器并映射端口与数据目录dockerrun-d-p8080:8080-v/data/bigset:/app/data--namebigsettinyfish-io/bigset

四、应用场景

BigSet 凭借

这几个特点，可以说覆盖了公开结构化数据采集的绝大多数需求。不管是个人办公、中小企业运营、行业数据分析，还是小型开发，都能找到用武之地：

1. 行业行情与价格采集
   
   比如云服务 API 报价、硬件产品报价、电商商品价格、服务资费等动态价格数据，配合定时更新功能，自动维护价格台账。

2. 企业信息与招聘数据整理
   
   批量采集企业工商公开信息、全网招聘岗位、岗位薪资、任职要求等内容，快速生成行业招聘数据集，用于人力分析或行业调研。

3. 竞品信息汇总分析
   
   收集同行产品的功能、版本更新、官方动态、套餐服务等信息，定期自动更新，辅助产品运营和市场人员做竞品调研。

4. 本地商户与公开信息收集
   
   采集线下商户地址、联系方式、营业状态、服务项目等公开信息，快速制作商户名录表格。

5. 资讯与文献类数据整合
   
   针对公开论文、行业资讯、公告通知等内容，提取标题、发布时间、来源、摘要等字段，生成结构化资讯数据集。

6. 个人办公与台账制作
   
   普通办公人员可以用它批量整理公开榜单、名单、统计类数据，省去手动复制粘贴、排版整理的麻烦。

五、使用方法

操作流程极简，全程可视化界面，分为

四大步，零基础用户也能快速上手。

步骤1：部署并启动项目

根据自身需求选择部署方式：

• 个人临时使用：安装 Node.js 环境，克隆项目代码，执行依赖安装与启动命令，访问本地端口进入网页端；

• 企业/长期使用：使用前文提供的 Docker 命令完成容器部署，通过服务器IP+端口访问操作界面。

步骤2：新建数据采集任务

1. 进入系统首页，点击

   新建任务
   按钮；

2. 在输入框中使用

   自然语言
   描述采集需求，示例：采集全网主流AI大模型名称、官方地址、收费模式、调用价格；

3. 提交需求，系统自动解析并生成数据表字段，无需手动修改即可进入下一步。

步骤3：执行数据采集

1. 确认系统自动生成的字段无误后，点击

   开始采集
   ；

2. 后台多智能体自动检索数据源、并行抓取数据，界面实时展示采集进度、成功数量、异常数量；

3. 采集完成后，系统自动执行数据清洗工作。

步骤4：预览、导出数据集

1. 采集清洗完成后，在任务列表中点击

   查看数据
   ，在线预览完整结构化表格；

2. 点击

   导出
   按钮，选择 CSV 或 XLSX 格式，将数据集下载至本地使用。

步骤5（可选）：配置定时自动更新

1. 进入对应任务的

   设置
   页面；

2. 开启

   定时更新
   开关，选择更新周期（30分钟/6小时/12小时/每日/每周）；

3. 保存配置，系统将按照设定周期自动重新采集、更新数据集。

六、竞品对比

拿市面上主流的

来做个横向对比。这里选了商业工具八爪鱼采集器、开源爬虫插件 WebScraper，从六个维度看 BigSet 的差异化优势。

对比维度	BigSet	八爪鱼采集器（商业版）	WebScraper（开源爬虫插件）
核心定位	多智能体AI全自动数据集构建工具	可视化规则配置式网页爬虫工具	浏览器插件式简易爬虫工具
使用门槛	极低， 纯自然语言指令，零配置	中等，需手动框选页面元素、配置抓取规则	中等，需手动选择抓取节点、配置选择器
自动化能力	全流程自动化（建表+采集+清洗+更新）	采集自动化，表结构需手动设置	仅采集自动化，无自动建表、深度清洗能力
部署方式	本地运行 / Docker 私有化部署	云端SaaS / 本地客户端	仅浏览器插件，无法独立部署
授权协议	AGPL-3.0 开源免费，可二次开发	闭源商业软件，分免费/付费套餐	开源免费，仅插件功能
定时更新	原生支持多周期定时自动更新	付费版本支持定时任务	无原生定时更新功能

：

1. 对比八爪鱼这类传统商业爬虫工具，BigSet 最大的优势就是

   抛弃了规则配置，改用自然语言交互
   ——门槛更低，而且完全开源、可私有化部署，没有商业授权成本；

2. 对比浏览器插件 WebScraper，BigSet 功能完整得多——自动建表、数据清洗、定时更新、独立部署，不再局限于浏览器环境，适合批量、长期的数据采集工作；

3. 三款工具里，BigSet 是唯一以

   AI多智能体
   为核心、面向“数据集生产”设计的产品，而不只是单纯的网页爬虫。

七、常见问题解答

A：不需要。这款工具主打零代码使用，所有操作都在可视化网页界面完成，你只需要用自然语言描述采集需求，系统会自动搞定所有技术操作，零基础用户也能正常使用。

A：取决于部署方式。如果使用官方在线服务，数据会按平台规则存储；但如果采用本地或 Docker 私有化部署，所有采集任务、原始数据、最终数据集都只保存在你自己的设备/服务器里，外部无法访问，隐私安全性更高。

A：主要原因有三类：一是目标网页有反爬机制，限制了访问；二是部分数据源页面结构不规范，智能体识别出现偏差；三是对应公开信息本身为空。可以尝试补充更精准的自然语言描述，或者更换数据源范围重新采集。

A：目前 BigSet 主要面向

的网页数据采集，暂不支持账号登录、验证码验证、权限访问类页面。这也是为了遵守网络合规要求。

A：项目遵循 AGPL-3.0 开源协议。如果你修改了源码并对外分发、部署提供服务，需要同步开源修改后的完整代码，遵守协议相关规范即可。

A：系统内置5种常用更新周期：30分钟、6小时、12小时、每日、每周，可以根据数据更新频率自由选择。

A：可以。这两种都是通用办公格式，Excel、WPS、金山表格等主流软件都可以直接打开、编辑、统计数据。

八、相关链接

• Github仓库：https://github.com/tinyfish-io/bigset

九、总结

BigSet 是一款创新性十足的开源数据集构建工具。它基于 TypeScript 与多智能体AI架构，打破了传统爬虫和数据集制作工具技术门槛高、操作繁琐的痛点，把自然语言交互融入了数据采集全流程，实现了从需求描述到结构化数据集产出的全自动化。自动建表、并行采集、数据清洗、定时更新、多格式导出——这些功能一应俱全，而且支持灵活的私有化部署，既能满足个人临时使用，也能覆盖企业隐私合规需求。

对比传统爬虫工具，BigSet 在易用性和智能化程度上优势明显。从行情调研、竞品分析，到办公台账、行业数据整理，应用场景非常广泛。无论是普通办公人员、行业运营人员，还是中小开发者，都能借助它高效完成公开结构化数据的收集与整理。可以说，它是当下轻量化、零代码数据采集领域里，实用性极强的开源解决方案。