阅读论文
代码和网站概述
SuperGPQA 是一套包含 26,529 道选择题的基准测试，涵盖 13 个学科、72 个领域和 285 个研究生子领域。每个子领域至少包含 50 道题，平均每道题有 9.67 个选项，而非传统的 4 个。该基准测试除了涵盖科学、工程和医学等核心领域外，还包括农业、军事科学、轻工工程和服务型学科等长尾领域；42.33% 的题目需要计算或进行形式推理。
构建过程是一个分阶段的人工-学习模型（LLM）流程。专家标注员首先从可靠来源收集问题和答案。众包标注员负责翻译、转换非选择题、标准化复杂的陈述选择题，并生成干扰项。规则检查验证模型的有效性，多个现代模型标记出可疑或区分度低的问题，然后专家通过不受限制的网络访问权限解决并修改被标记的问题。该论文报告称，超过80位专家参与了标注，并且在标注后的访谈中，每个可疑候选题目的审查时间超过30分钟。
题目数量并非统一：科学、工程和医学领域的题目占样本总数的 77.2%，因为这些领域有更多题目通过了难度和质量筛选。因此，SuperGPQA 会提供四种总体视图。总体（样本）对所有题目一视同仁，而总体（子领域）、总体（领域）和总体（学科）则在相应的分类级别内进行平均。本页面根据第一个指标对零样本推理模型和聊天模型进行排名，并将宏观得分单独列出。
为什么这很重要
宽泛的主题标签可能会掩盖其覆盖范围的狭窄。例如，一个模型可能在'科学'方面表现出色，但在光学、冶金、兽医学或交通工程等专业领域却表现不佳。285个子领域的分类体系能够将缺陷定位到实际专业应用的层面，同时，最低题量限制确保了每个子领域都有足够的样本可供评估。
多重聚合层级可防止排行榜上的某个排名悄然继承数据集的 STEM 集中度。样本准确率适用于所有已发布的题库；学科宏观准确率则考察系统在十三个顶级领域中的表现是否均衡。比较这两项指标可以揭示系统的优势是来自最大的类别，还是能够迁移到长尾类别。
贡献
- 构建了一个包含 26,529 个问题的研究生基准，涵盖 13 个学科、72 个领域和 285 个子领域，每个子领域至少有 50 个问题，平均每个子领域有 9.67 个答案选项。
- 开发大规模的人类-LLM构建工作流程，涵盖专家来源筛选、翻译和多项选择转换、干扰项生成、抄袭检查以及规则/模型/专家质量检查。
- 报告了三个分类级别的样本加权和宏观平均准确率，以及简单、中等和困难的划分，因此性能不仅仅由 STEM 占主导地位的样本分布来表示。
- 在公开的零次或五次试验方案下评估推理、聊天、指导和基础模型，并分析提示稳健性、子领域线索、尺度、难度概况和学科区分。
方法与评估
- 专家标注员从可靠来源收集问题和答案；众包标注员翻译非英语材料，将开放式问题转换为多项选择题，规范陈述组合题项，并添加合理的干扰项。
- 规则检查会验证格式、选项、答案、难度和分类字段。七个现代LLM系统会将无效、含糊、琐碎、多模态、不完整或区分度低的题目标记出来，以便进行不受限制的专家审查，平均每个可疑题目的审查时间超过30分钟。
- 最终纳入的 26,529 个条目涵盖 285 个子领域，每个子领域至少有 50 个条目。科学、工程和医学领域贡献了 77.2% 的样本，因此本文报告了样本加权准确率以及跨子领域、领域和学科的未加权平均值。
- 推理模型和聊天模型采用零样本评估；基础模型采用遵循 MMLU-Pro 的五样本协议。温度为 0，推理模型的最大生成令牌数为 32k，所有其他模型的最大生成令牌数为 4k。
- 精确匹配多项选择题的准确率按总体以及简单、中等和困难三个等级分别计算。其他实验改变了子字段名称的存在与否，并在 24 种语义等效的提示格式下评估了 Qwen2.5 模型。
评估指标
总体（样本）——越高越好。所有 26,529 道选择题的微平均准确率；这是排行榜使用的指标。分数范围：[0, 100]。
总体（子领域）——数值越高越好。285 个子领域准确率的未加权平均值，降低了问题较多的子领域的影响。分数范围：[0, 100]。
总体（领域）——越高越好。72 个领域的未加权平均准确率。分数范围：[0, 100]。
总体（学科）——分数越高越好。13 个顶级学科的未加权平均准确率，最广泛的宏观平衡视角。分数范围：[0, 100]。
排行榜
该排名采用论文零样本推理和聊天模型设置下的样本加权准确率。五样本基础模型的数据未混入此表中；宏观子领域、领域和学科的得分仍作为单独的指标提供。
| # | 模型 | 总体（样本） |
|---|---|---|
| 1 | DeepSeek-R1 | 61.82 |
| 2 | o1-2024-12-17 | 60.24 |
| 2 | DeepSeek-R1-Zero | 60.24 |
| 4 | o3-mini-2025-01-31-高 | 55.22 |
| 5 | 豆宝-1.5-Pro-32k-250115 | 55.09 |
| 6 | o3-mini-2025-01-31-medium | 52.69 |
| 7 | 豆宝-1.5-Pro-32k-241225 | 50.93 |
| 8 | Qwen-Max-2025-01-25 | 50.08 |
| 9 | 克劳德 3.5 十四行诗-20241022 | 48.16 |
| 10 | o3-mini-2025-01-31-low | 48.03 |
阅读结果
DeepSeek-R1 在零样本准确率方面领先，达到 61.82%。o1-2024-12-17 和 DeepSeek-R1-Zero 并列第一，准确率为 60.24%，这一细节在前一页中并未提及。第二个聚类以 o3-mini-high（准确率 55.22%）和 Doubao-1.5-Pro-250115（准确率 55.09%）为首，紧随其后的是 o3-mini-medium（准确率 52.69%）。此处列出的前十名均采用零样本推理/聊天协议；论文中的五样本基础模型结果并未纳入此次排名。
难度划分表明，仅凭整体排名并不完整。DeepSeek-R1 在简单难度下得分 63.59，中等难度下得分 63.63，困难难度下得分 56.87。o3-mini-high 的得分则相反，分别为 53.05、56.09 和 56.16，这印证了本文对广泛专业记忆和以推理为中心的行为的区分。宏观得分也会改变领先者：DeepSeek-R1-Zero 在学科层面的得分为 60.99，高于 DeepSeek-R1 的 59.95，尽管其样本加权准确率低于 DeepSeek-R1。
图表
SuperGPQA：前沿规模的研究生水平知识
← 返回研究