什么是GPQA Diamond

GPQA Diamond（Graduate-Level Google-Proof Q&A Benchmark: Diamond）是一个专门用于评估大语言模型（LLM）在高阶科学推理和领域专业知识（主要是生物学、化学和物理学）方面能力的极具挑战性的基准测试（Benchmark）。

它是 GPQA（Graduate-Level Google-Proof Q&A Benchmark）数据集的最高质量子集（Diamond Subset）‍，通常被认为是“最难”的科研类测评之一。

以下是关于 GPQA Diamond 的详细介绍：

1. 核心定义与目的

• Google-Proof（防谷歌搜索）‍：GPQA 系列的设计理念是测试模型的“深度思考”能力，而不是“记忆检索”。这些问题即使给模型完整的网络访问权限（如谷歌搜索），大多数非专家（包括使用搜索引擎的人类）也答不对，必须依赖真正的科研经验和推理能力才能解答。
• 评估目标：用于测量模型在科研前沿、学术论文阅读和高阶推理任务上的能力，尤其是判断模型是否达到“博士级别”或“准博士级别”的水平。

2. 数据集组成与难度

• 题量：包含 198 道精挑细选的问题。
• 难度级别：
  • 研究生/博士水平：这些问题是由拥有博士学位的专家设计和验证的。
  • 高错率：随机猜测准确率只有 25%（因为是四选一），但大多数非专家（即使使用搜索引擎）答错率极高。专家答对率大约 70% 左右，模型的准确率通常在 50%-80% 之间波动，属于“中等难度”到“极难”的测评。
• 覆盖领域：主要涵盖 生物学、化学（尤其是有机化学）和 物理学，部分版本也包括 数学 和 医学 问题。

3. 评测规则与特点

• 严苛的评分标准：由于是多项选择题（Multiple Choice），答案格式必须严格符合要求，否则不计分。这使得评测过程更加严格，避免了模型通过“技巧”规避难题的可能性。
• 对比基准：在 2024-2025 年期间，GPQA Diamond 成为评估大型模型（如 GPT-4、Claude Opus 4.5、Grok 1.5 等）是否达到了“AGI 级别”或“博士水平”的关键基准。很多模型在该测评上表现优于普通博士专家。

4. 评测结果与争议

• 高水平表现：OpenAI 的 o1 模型（2024 年发布）被报道在 GPQA Diamond 测评中超越了拥有相关领域博士学位的人类专家。
• 分析与争议：尽管该基准广受认可，但也有研究（如 Epoch AI 的分析）指出，模型在某些非常专业的有机化学空间推理问题上表现不佳，可能反映出模型在特定子领域仍有盲区。

总结

GPQA Diamond 是一个极端严苛且高度学术化的测评工具。它的设计初衷是为了寻找那些‍“懂得如何思考”‍而不仅仅是“记忆事实”的人工智能模型。对于研究人员而言，如果你的模型在 GPQA Diamond 上得分很高，这通常意味着它已经具备了相当深厚的“科研潜力”。