MMAU（Massive Multi-Task Audio Understanding and Reasoning Benchmark）是一个专为评估大型音频语言模型（LALMs）在多模态音频理解与推理能力方面的基准测试。它由Sakshi等人于2025年5月发表的一篇学术论文中提出。MMAU旨在评估模型在语音、环境声音和音乐等音频领域的理解与推理能力，涵盖27个不同的任务，包括信息提取和推理任务。
MMAU包含10,000个精心挑选的音频片段，每个音频片段均配有人类专家标注的自然语言问题和答案，涵盖语音、环境声音和音乐三个主要领域。这些任务要求模型展示27种不同的技能，包括跨场景推理、专业知识运用等，以测试模型的高级认知能力。
MMAU的评估设置包括10,000个多项选择题，分为测试-迷你集和主要测试集，其中测试-迷你集包含1,000个问题，主要测试集包含9,000个问题。该基准强调高级感知和推理能力，挑战模型进行复杂、有意识的推理和基于知识的检索。
MMAU的评估结果显示，即使是最先进的模型在该基准上的准确率也仅达到53%左右，表明仍有很大的提升空间。此外，MMAU的开发团队还开源了数据集和代码，以促进社区研究和模型比较。
MMAU作为音频理解和推理领域的权威基准，为评估和推动音频理解模型的发展提供了重要的量化标准
声明：文章均为AI生成，请谨慎辨别信息的真伪和可靠性！