OpenAI 推出 GeneBench-Pro 基准测试，用于评估 AI 模型生物学计算能力

7月1日，OpenAI正式发布了一个名为GeneBench-Pro的全新基准测试。这个测试的目的很直接——评估AI模型在生物学计算任务中到底有多大本事，说白了，就是看看模型在面对真实科研场景中那些杂乱无章的数据时，能不能做出靠谱的分析判断，选择合适的方法，最终给出一个支撑后续决策的结果。

传统的基准测试，大多是在考模型“记住了多少知识”或者“能不能按固定流程完成任务”。GeneBench-Pro不一样，它更强调实用性——让模型面对真正的科研环境，数据模糊、不完整，甚至混杂着干扰信息。模型得自己判断怎么分析、怎么得出结论。

具体来看，这个测试覆盖了基因组学、定量生物学和转化医学等多个方向，总共129道题，分布在10个大领域和21个子领域，比如统计遗传学、群体遗传学、功能基因组学、蛋白质组学等等。每道题都给模型一份接近真实科研环境的数据集，外加一段简短实验背景说明和一个与后续决策相关的目标问题。模型需要自主完成数据探索、选择分析方法，并在过程中不断修正策略，最终给出答案。

这里有个关键设计：为了避免传统长流程基准测试常见的评分偏差，OpenAI用了合成数据（Synthetic Data）来构建题目。为什么？因为如果用历史真实数据出题，往往存在多条合理分析路径，模型就算用了错误的方法，也可能碰巧答对。而合成数据的优势在于，OpenAI可以完全掌控底层因果结构和数据生成过程，从而更准确地判断模型是否真的理解了问题，而不是走了捷径。

目前，OpenAI已经在Hugging Face上开源了10道代表性的示例题，并提供了可交互界面供外部研究人员体验。后续还会开放其中50道题给Artificial Analysis进行第三方独立评测，目的就是验证不同模型在这个新基准下的真实表现。