什么是IMO-AnswerBench

IMO-AnswerBench 是 IMO-Bench（International Mathematical Olympiad Benchmark）套件中的核心子基准，专门用于评估人工智能模型在奥林匹克级别数学问题上的短答案生成能力。

以下是关于 IMO-AnswerBench 的详细介绍：

1. 核心定位与目的

IMO-AnswerBench 是一个针对 International Mathematical Olympiad (IMO) 级别题目的 ‍“短答案”‍ 测评集。它的主要目标是验证模型能否给出正确且精确的数值或唯一答案，而不仅仅是进行数学计算或公式匹配。

2. 题目规模与结构

• 题量：包含 400 道 精心挑选的奥赛题目。
• 覆盖领域：均衡覆盖四大核心数学领域：
  • 代数（Algebra）
  • 组合数学（Combinatorics）
  • 几何（Geometry）
  • 数论（Number Theory）
• 难度分层：每个领域下又细分为四个难度等级，模拟 IMO 考试的层次性：
  • Pre-IMO（预备级，适合中学阶段）
  • IMO-Easy（相当于 IMO 题目中的 1 或 4 号题）
  • IMO-Medium（相当于 IMO 题目中的 2 或 5 号题）
  • IMO-Hard（相当于 IMO 题目中的 3 或 6 号题或更高难度）

3. 关键特性与创新

• 答案的可验证性（Verifiability）‍：所有题目都被设计为拥有 唯一且明确的最终答案（如具体数值、特定整数或函数形式），以便于机器自动判断对错。
• 鲁棒性设计（Robustification）‍：为了防止模型通过记忆数据集中的题目（数据泄露）来作弊，基准中的题目经过专家的 ‍“鲁棒化”‍ 处理。这包括：
  • 重新措辞（Paraphrasing）
  • 数值扰动（Value Perturbation）
  • 细节微调
• 自动化评分（AutoGrader）‍：配套的 AnswerAutoGrader 能够自动从模型生成的长文本中提取答案，并判断其正确性，准确率接近人工评分。

4. 评价维度

该基准不仅考察模型的计算能力，更深层次地评估其在以下方面的表现：

• 多步推理：奥赛题往往需要多步骤的逻辑推导，而非单纯的算术运算。
• 创造性思维：解决方案可能需要跳出标准公式的框架，使用独特的解题技巧。
• 模型理解力：模型需要准确捕捉题意，避免对问题进行错误的语义解析。

5. 研究意义

IMO-AnswerBench 的推出标志着数学基准测试从“看结果（看答案对错）”向“看过程（看推理是否正确）”的转变。它帮助研究者发现，即使模型能算对很多题目（如基本的计算题），在面对需要严密逻辑的奥赛级题目时，往往仍然会出现“算对了但不懂为什么”的情况。