分组查询注意力（Grouped Query Attention，GQA）是一种在大型语言模型中用于提高计算效率和模型性能的注意力机制。它介于多查询注意力（Multi-Query Attention，MQA）和多头注意力（Multi-Head Attention，MHA）之间，旨在结合两者的优点。
具体来说，GQA通过将查询头分成若干组，并在每组内共享一个键（Key）和值（Value）头来实现其功能。这种设计使得模型能够在保持MQA的速度优势的同时，达到接近MHA的质量水平。每个组内的查询头共享相同的变换矩阵，从而减少了内存消耗和计算复杂度。
GQA的核心思想是利用中间数量的键值头，既保留了一定程度的多样性，又控制了内存占用的增长。这种方法在处理长距离依赖任务时表现出色，并且已经在一些大型语言模型如LLaMA-2中得到应用。
此外，GQA还被用于优化推理过程中的内存消耗和计算效率，使其成为一种有效的注意力机制变体
声明：文章来源于网络，如有侵权请联系删除！