One-Eval - 北大开源的自动化大模型评测框架

One-Eval是什么

想快速、准确地评估一个大模型的能力，但又被繁琐的数据准备、脚本编写和结果分析搞得头疼？或许，你可以了解一下One-Eval。这个由北京大学OpenDCAI团队开源的项目，本质上是一个自动化、Agent驱动的评测框架。它的核心卖点，用一个词概括就是“NL2Eval”——你只需用最自然的语言描述评测目标，剩下的，交给它就好。

从基准推荐、数据下载，到模型推理、答案评分，再到最终的多维度报告生成，整个链条一气呵成。它基于DataFlow与LangGraph构建，目标就是实现从需求到报告的全链路自动化，把开发者从重复劳动中解放出来。

One-Eval的主要功能

• NL2Eval 智能解析
  ：这可以说是它的“大脑”。你输入一句“帮我测测这个模型的数学推理能力”，背后的Agent就能理解你的意图，并自动规划出完整的评测路径。

• Bench Gallery 基准库
  ：框架内置了一个丰富的基准库，像GSM8K、MATH、MMLU、C-Eval、IFEval、HumanEval这些主流评测集，其元信息都已管理妥当，随时待命。

• 端到端自动执行
  ：这是承诺的落地。一句话触发后，系统会自动串联起数据下载、模型调用、答案评分、统计分析所有环节，最终呈上一份完整的报告。

• 人机协同干预
  ：自动化不等于黑盒。你可以在关键节点中断流程，审查中间结果，甚至编辑调整后再重跑，实现了自动化与可控性的平衡。

• 异构数据统一接口
  ：不同数据集格式千差万别怎么办？其底层的DataFlow引擎负责将它们标准化，提供统一的接入和转换接口。

One-Eval的技术原理

• Agent 图编排架构
  ：整个评测流程被抽象成一个状态机工作流，基于LangGraph构建。简单来说，它把复杂任务拆解为“自然语言转基准推荐”、“基准解析与准备”、“指标匹配与报告生成”三大清晰阶段。

• DataFlow 算子系统
  ：所有脏活累活由它承包。这个底层引擎负责处理数据准备和流式计算，正是它实现了对不同格式数据集的统一接入与高效转换。

• Local-first + HuggingFace 双源解析
  ：系统很聪明，会优先加载本地预置的配置。如果本地没有，它会自动调用HuggingFace的工具去搜索、下载，并把数据集信息结构化，补充进自己的知识库。

• 可追踪状态管理
  ：评测过程步步留痕。每一步的执行状态都会被持久化，这意味着支持断点恢复、回溯重跑，甚至对失败案例进行专门分析。

如何使用One-Eval

• 环境准备
  ：首先，用Conda或uv创建一个干净的Python虚拟环境，然后通过pip install -e .安装所有项目依赖。

• 启动后端
  ：运行uvicorn one_eval.server.app:app --host 0.0.0.0 --port 8000命令，启动核心的FastAPI服务。

• 启动前端
  ：进入one-eval-web目录，依次执行npm install && npm run dev。完成后，在浏览器访问localhost:5173即可看到操作界面。

• 配置参数
  ：在Web界面中，需要配置几个关键参数：调用模型所需的API Key、目标模型信息以及用于下载数据的HuggingFace Token。保存后，就可以开始交互式评测了。

• 发起评测
  ：在输入框里，直接用自然语言写下你的需求，比如“评测一下这个模型在数学推理任务上的表现”。点击执行，Agent便会自动工作并生成报告。

• 开发者模式
  ：如果你更喜欢命令行，可以直接运行python -m one_eval.graph.workflow_all "评测目标"来触发完整的工作流。

One-Eval的关键信息和使用要求

• 开发团队
  ：来自北京大学OpenDCAI实验室，背景扎实。

• 开源协议
  ：项目完全开源，代码托管于GitHub，可以直接获取、研究和复用。

• 技术栈
  ：后端基于Python 3.11和FastAPI，前端采用React + Vite构建。核心工作流依赖LangGraph进行图编排，底层数据处理则由DataFlow算子系统驱动。

• 支持模型
  ：兼容性很广，只要模型服务提供OpenAI标准格式的接口即可接入。这意味着无论是OpenRouter、硅基流动、火山引擎这样的服务商，还是自己用vLLM部署的模型，都能支持。

• 硬件要求
  ：运行One-Eval框架本身对本地机器配置要求不高，常规开发机即可。真正的计算和Token消耗发生在推理阶段，而这完全取决于你选择调用的外部模型API。

• 使用门槛
  ：需要提前准备两样东西：一是有效的模型API Key，用于实际调用大模型；二是HuggingFace Token，用于下载和加载部分评测数据集。

One-Eval的核心优势

• 零脚本评测
  ：最大的亮点。告别手动下载数据集、编写配置文件的时代，用一句话就能发起全链路评测，效率提升显著。

• 可扩展架构
  ：基于DataFlow算子和LangGraph状态管理的设计，让框架具备了良好的扩展性。你想接入私有数据集或自定义评价指标？流程会清晰很多。

• 人机闭环
  ：不是一味追求全自动，而是在关键节点保留了人工审查和干预的入口，兼顾了自动化效率与结果可控性。

• 多维度报告
  ：生成的报告不止一个总分。它会提供详细的分数统计、模型排名对比、典型失败案例分析，甚至给出可操作的建议，洞察力更强。

• 全链路追踪
  ：整个过程透明、可审计。每个节点的输入、输出和状态变更都有记录，方便回溯问题或复现实验。

One-Eval的项目地址

• GitHub仓库
  ：https://github.com/OpenDCAI/One-Eval

• arXiv技术论文
  ：https://arxiv.org/pdf/2603.09821

One-Eval的同类竞品对比

为了更清晰地定位One-Eval，我们将其与业界两个知名的评测框架进行对比：

One-Eval的应用场景

• 模型选型初筛
  ：当你需要在多个候选模型中快速做出初步选择时，可以用它一键对比它们在数学、推理、代码、指令遵循等多个维度的表现。

• 私有化模型验收
  ：对于自己部署或微调后的模型，这是一个进行标准化能力验收和回归测试的便捷工具。

• 基准调研
  ：通过其内置的Bench Gallery，可以快速检索和了解哪些评测集最适合你想要评估的任务类型。

• 学术研究
  ：为论文中的实验部分提供一套可复现、每一步都可追踪的自动化评测流水线，增强研究的严谨性。

• Agent 能力评估
  ：未来，框架计划支持对LLM在工具调用、规划与复杂任务执行（如SWE-bench场景）中的表现进行评测，潜力可观。