什么是下一个令牌预测（Next‑Token Prediction，NTP）

下一个令牌预测（Next‑Token Prediction，NTP）概述

1. 基本定义
   下一个令牌预测是语言模型的核心训练目标，要求模型在已知前文所有令牌的情况下，预测序列中紧随其后的下一个令牌（token）是什么。这是一种自监督学习方式，模型通过最大化真实下一个令牌的对数似然来学习语言的统计规律。
2. 自回归生成流程
   • 编码：将输入文本分词后映射为嵌入向量，并加入位置编码。
   • 建模：使用自注意力（Transformer）或其他序列模型，逐步捕获左侧上下文信息。
   • 预测：模型在每一步输出下一个令牌的概率分布；选取或采样后将该令牌追加到上下文，进入下一轮预测。
     这一循环过程实现了从提示词到完整文本的逐字生成。
3. 在大模型中的地位
   • 通用能力的根基：几乎所有现代大语言模型（如 GPT‑3、ChatGPT、LLaMA 等）都以 NTP 为预训练目标，正是它赋予模型对语法、语义、世界知识的广泛掌握。
   • 多模态扩展：最新的多模态模型（如 Emu3）也采用纯 NTP 训练，证明该目标同样适用于图像、视频等非语言令牌的预测，从而实现统一的“令牌”视角，推动通用人工智能的进展。
4. 优势与挑战
   • 优势：
     • 数据利用率高：无需人工标注，直接利用大规模未标注文本进行自监督学习。
     • 生成灵活：通过不同采样策略（贪婪、束搜索、温度采样等）可控制文本的多样性与质量。
   • 挑战：
     • 串行推理成本：每生成一个令牌都要一次前向计算，导致推理速度受限。
     • 长程依赖：单步预测对远距离上下文的捕获仍有局限，促使研究者探索更高效的多令牌预测（MTP）等改进方案。
     • 容量上限：理论研究表明 Transformer 在 NTP 任务上的容量存在上、下界，模型规模与参数配置直接影响可学习的上下文复杂度。
5. 典型应用
   • 文本生成：对话系统、文章写作、代码补全等。
   • 少样本学习：通过在提示中提供少量示例，模型利用 NTP 能力实现“零/少样本”任务执行（如 GPT‑3 的 few‑shot 能力）。
   • 跨模态生成：视频帧、图像像素等离散令牌的预测，使模型能够生成高保真多媒体内容。
6. 研究前沿
   • 容量分析：最新工作给出 NTP 的一般上界与针对 Transformer 的下界，帮助评估模型规模与性能的理论极限。
   • 自监督对齐：研究表明在大规模自监督 NTP 训练后，模型能够在多任务上表现出意外的对齐能力，但也暴露出在复杂任务（如长篇故事写作）中的局限性。
   • 多令牌预测（MTP）：通过一次前向计算预测多个后续令牌，显著提升训练与推理效率，已成为当前 LLM 优化的热点方向。

总结
下一个令牌预测是语言模型的根本训练目标，以自回归方式让模型在给定左侧上下文的情况下估计下一个离散令牌的概率分布。它支撑了现代大语言模型的生成能力、少样本学习以及跨模态扩展，同时也面临推理效率和长程依赖等挑战。当前的研究正围绕提升容量、降低串行成本以及拓展到多令牌预测等方向展开，以进一步推动通用人工智能的发展。