MedBench医疗大模型测评平台升级

最近，中文医疗大模型开放评测平台MedBench迎来了一次重要升级。新增大模型API评测方式，同时针对开放性问答评估环节，引入了医学专家人工标注“给分点”机制。这意味着，评测结果的专业性和公正性有了更扎实的保障。

模型能力评测不只是技术进步的标尺，更是推动模型迭代与优化的驱动器。MedBench由上海人工智能实验室与上海市数字医学创新中心联合多家机构推出。作为医疗领域的专业评测基准，它已加入司南大模型开源开放评测体系（OpenCompass）。自发布以来，MedBench已为387个医疗大模型提供了评测服务。

相关研究成果论文《MedBench: A Comprehensive, Standardized, and Reliable Benchmarking System for Evaluating Chinese Medical Large Language Models》近期已刊发于全球计算机系统领域期刊《Big Data Mining and Analytics》（中科院一区期刊，近两年平均影响因子10.6）。

全面升级：丰富评测方式，扩充数据集

依托专业医疗机构的专家经验和知识储备，MedBench设置了五大评测维度：医学语言理解、医学语言生成、医学知识问答、复杂医学推理、医疗安全和伦理。这些维度为医疗大模型的研发和应用实践提供了清晰的指标参考。近期，上海AI实验室联合团队对MedBench进行了全面升级，新增模型API接入评测，并优化了开放性问答的评估指标——由医学专家人工标准评测给分点，进一步确保结果的专业性和公正性。同时，评测数据集、评测方法以及系统功能也得到扩充和升级，提供了更丰富、更贴近真实医疗实践的场景。

动态评估：提升评测准确性

MedBench集纳了约30万道中文医疗专业测评题目，覆盖医学考试、医学问答、患者服务、医学问诊、病历分析、病历生成和辅助诊断等场景，涵盖多个临床科室。五个评估维度全面考察模型能力。评测过程采用全自动化、云基础架构，有效解决了标准化和答案泄露问题。更巧妙的是，动态评估机制通过将选项循环打乱和随机提示匹配，显著提高了评估的科学性和准确性。

开放共享：推动专业互认体系建设

自发布以来，MedBench即面向全球开放，与各界共同推进医疗大语言模型评测体系的全面、专业、互认。截至目前，已有387个医疗大模型通过平台获得能力指标和提升方向参考。上海交通大学医学院附属瑞金医院、上海交通大学医学院附属新华医院、四川大学华西医院、广州实验室、上海交通大学、复旦大学、华东理工大学、同济大学、香港中文大学（深圳）、上海市卫生健康统计中心、华东师范大学等机构陆续加入平台共建，汇聚行业经验，助力医疗智慧化转型。基于医疗大模型评测领域的积累与实践，上海AI实验室与上海市卫生健康统计中心联合支持了《第二届全国数字健康创新应用大赛》相关成果评估工作，加速人工智能与医疗的交叉研究与协同创新。