什么是xbench-DeepSearch

xbench-DeepSearch 是由红杉中国推出并开源的一个针对 AI Agent 深度搜索能力的评测集，旨在评估 AI Agent 在自主规划、信息收集、推理分析和总结归纳等任务中的综合能力。该评测集特别关注 Agent 的深度搜索能力，强调在搜索空间广度和推理深度方面的考量，并适配中文互联网环境，以确保评估结果的可信度和实用性 。

一、xbench-DeepSearch 的核心特点

1. 专注深度搜索能力
   xbench-DeepSearch 不仅评估 AI Agent 的信息收集能力，还特别强调其在自主规划、搜索、推理和总结归纳等方面的综合能力。与传统的知识问答基准测试（如 SimpleQA）不同，xbench-DeepSearch 更加注重 Agent 在复杂任务中的表现，例如需要多轮搜索、推理和总结的场景 。
2. 适配中文互联网环境
   由于中文互联网环境的特殊性，xbench-DeepSearch 在设计时特别考虑了中文语境下的搜索信息源质量。这使得评测结果更加贴近实际应用需求，尤其是在中文语境下进行深度搜索的场景中 。
3. 人工出题与交叉验证
   所有题目均由来自各行各业的专家志愿者出题，并经过人工交叉验证，确保题目的新颖性、主题多样性、答案正确性和唯一性。这种人工出题方式不仅提高了题目的质量，也增强了评测的可信度 。
4. 持续更新与动态维护
   xbench-DeepSearch 采用“黑白盒”机制，内部维护闭源版本，以避免刷榜行为影响评测公正性。同时，评测集每月更新最新模型的能力表现，并每季度至少更新一次评估集，以确保结果的长期有效性和可信度 。
5. 支持多语言与多领域
   xbench-DeepSearch 支持中英文双语题目，并覆盖多个领域，包括生活娱乐、地理、科技、文学、历史、音乐等。这种多领域覆盖的设计有助于全面评估 Agent 的综合能力 。

二、xbench-DeepSearch 的题目构建流程

1. 题目来源
   题目主要来源于书籍与文献、领域数据库以及专家自创题目。出题人需确保题目具有一定的难度和区分度，避免过于简单或重复的题目 。
2. 搜索引擎泄露检查
   每个题目在提交前都需要经过搜索引擎泄露检查，以确保答案不会被轻易在网络上找到。这一步骤确保了题目的原创性和挑战性 。
3. 难度检查
   题目需要经过难度检查，确保其难度适中，既不会过于简单，也不会过于困难。所有题目均需经过主流模型的测试验证，淘汰正确率超过 80% 的题目，以保证评测的公平性和区分度 。
4. 翻译与评价标准
   题目会被翻译成中英文双语，并明确评价标准。这一步骤确保了评测的国际化和标准化，同时也便于不同语言背景的用户参与评测 。
5. 同行评议与非同行评议
   题目会进入同行评议和非同行评议阶段。同行评议要求不依赖工具解决，评估标注准确性；而非同行评议则强调无法仅依靠搜索引擎做出判断。整个流程旨在确保题目设计的科学性和公正性 。

三、xbench-DeepSearch 的应用场景

1. AI Agent 开发与优化
   xbench-DeepSearch 为 AI Agent 开发者提供了一个评估工具，帮助他们更精准地拆解 Agent 的能力维度，快速定位性能瓶颈和优化方向。通过评测结果，开发者可以了解模型在不同任务中的表现，并据此进行改进 。
2. 垂直领域智能体评测
   xbench-DeepSearch 还支持垂直领域智能体的评测，例如招聘（Recruitment）和营销（Marketing）领域的 Agent。这种垂直领域的评测有助于更精准地评估 Agent 在特定场景中的表现 。
3. 学术研究与行业应用
   xbench-DeepSearch 不仅适用于 AI Agent 的开发和优化，还可以用于学术研究和行业应用。例如，研究人员可以利用该评测集评估不同模型在深度搜索任务中的表现，从而推动 AI 技术的发展 。

四、xbench-DeepSearch 的优势

1. 高区分度与公正性
   xbench-DeepSearch 通过严格的题目筛选和人工验证，确保了评测的高区分度和公正性。这使得评测结果能够真实反映不同模型在深度搜索任务中的表现 。
2. 动态更新与长期维护
   评测集每月更新最新模型的能力表现，并每季度至少更新一次评估集，确保评测结果的长期有效性和可信度 。
3. 开源与社区共建
   xbench-DeepSearch 采用开源模式，鼓励全球 AI 社群参与共建，通过开源精神促进其进化，为 AI 社群创造更大价值 。

五、xbench-DeepSearch 的实际应用案例

1. Kimi-Researcher 在 xbench-DeepSearch 上的表现
   在 xbench-DeepSearch 项目上，Kimi-Researcher 取得了 69% 的 pass@1（4次运行平均值），其表现优于配备了搜索工具的 o3 等模型。这表明 xbench-DeepSearch 能够有效评估不同模型在深度搜索任务中的表现 。
2. 其他模型的评测结果
   根据 xbench-DeepSearch 的榜单，OpenAI 的 o3 和 o4-mini-high 分别取得了 65+ 和 60+ 的准确率，而 ByteDance 的 Doubao 和 xAI 的 Grok-3 也分别取得了 50+ 的准确率。这些结果表明，xbench-DeepSearch 能够有效区分不同模型在深度搜索任务中的表现 。

六、总结

xbench-DeepSearch 是一个专注于 AI Agent 深度搜索能力的评测集，由红杉中国推出并开源。它通过人工出题、交叉验证和持续更新，确保了评测的高区分度和公正性。该评测集不仅适用于 AI Agent 的开发和优化，还可以用于学术研究和行业应用。通过 xbench-DeepSearch，开发者和研究人员可以更精准地评估 AI Agent 的综合能力，推动 AI 技术的发展