神经音频编解码器（Neural Audio Codec）是一种基于深度学习的音频压缩与解压缩技术，它通过神经网络模型将音频波形转换为紧凑的表示形式（通常为离散的 tokens 或连续的向量），并在此基础上进行高效的压缩和重建。这种技术在近年来得到了广泛研究和应用，成为语音和音频生成领域的重要工具。
1. 基本概念与架构
神经音频编解码器通常由三个主要部分组成： 编码器（Encoder） 、 量化器（Quantizer） 和 解码器（Decoder）。
- 编码器：将输入的音频波形转换为潜在表示（latent representation），通常是一个低维的特征向量。
- 量化器：将潜在表示映射到一个离散的代码本（codebook），以实现压缩。常见的方法包括残差向量量化（Residual Vector Quantization, RVQ）和自回归建模。
- 解码器：从离散的代码本中恢复音频波形，通常使用生成模型（如扩散模型或自回归模型）来重建音频。
这种架构允许神经音频编解码器在保持高质量音频的同时，实现高效的压缩。例如，SoundStream 和 Encodec 都采用了类似的结构，通过端到端的训练，使编码器和解码器能够协同工作，以最小化重建误差。
2. 关键技术与方法
（1） 残差向量量化（RVQ）
RVQ 是一种广泛使用的量化方法，它通过将潜在表示分解为残差和量化向量的组合，从而实现更高效的压缩。例如，ENCODEC 和 SNAC 都采用了 RVQ 技术，通过多个层次的量化器来捕捉音频信号的多尺度特征。
（2）端到端训练
神经音频编解码器通常采用端到端的训练方式，即编码器、量化器和解码器在同一个框架中进行联合训练，以最小化重建损失和感知损失。例如，SoundStream 使用对抗性损失和重建损失的组合，以确保生成的音频在主观听感上接近原始音频。
（3）多尺度表示
一些先进的神经音频编解码器（如 SNAC 和 TFF-Codec）引入了多尺度表示，通过在不同时间分辨率下进行量化，以更好地捕捉音频信号的局部和全局特征。这种多尺度方法在音乐和语音领域表现尤为突出。
（4）生成模型与扩散模型
近年来，扩散模型也被引入到神经音频编解码器中，用于生成高质量的音频。例如，SemantiCodec 结合了扩散模型和语义编码，能够在超低比特率下实现高质量的音频重建。
3. 应用场景与优势
（1）音频压缩与传输
神经音频编解码器在音频压缩和传输方面具有显著优势。例如，SoundStream 和 Encodec 在低比特率下仍能保持较高的音频质量，使得在带宽受限的场景下（如移动通信和流媒体）能够高效传输音频数据。
（2）语音合成与生成
神经音频编解码器不仅用于压缩，还被广泛应用于语音合成和生成。例如，Encodec 和 Vocos 被用于零样本文本到语音（TTS）系统，通过生成高质量的语音波形，实现自然的语音合成。
（3） 音频语言模型（Audio LM）
神经音频编解码器的离散表示形式也被用于开发音频语言模型（Audio LM），这些模型可以学习音频的语义和结构信息，并用于生成或编辑音频内容。例如，SD-Codec 通过源分离技术，将音频分解为不同的来源（如语音、音乐和音效），并分别进行建模，从而提高了音频生成的可控性和可解释性。
4. 挑战与未来方向
尽管神经音频编解码器在多个方面取得了显著进展，但仍面临一些挑战：
- 离散表示的局限性：离散 tokens 可能无法完全捕捉音频的连续性，导致在某些情况下重建质量下降。为此，一些研究提出了连续向量表示的方法，如 NaturalSpeech 2 中的连续向量量化器。
- 多域音频建模：当前许多神经音频编解码器是在大量多样化音频数据上训练的，但它们可能无法有效区分不同音频域（如语音、音乐和环境音），从而影响模型的泛化能力。SD-Codec 通过引入源分离技术，尝试解决这一问题。
- 计算效率与实时性：尽管神经音频编解码器在主观和客观评估上表现出色，但其计算复杂度较高，限制了其在实时应用中的部署。例如，Gull 通过引入频域建模和弹性解码器网络，尝试在不增加比特率的情况下实现更高的计算效率。
5. 总结
神经音频编解码器是一种基于深度学习的音频压缩与解压缩技术，它通过神经网络模型将音频波形转换为紧凑的表示形式，并在此基础上进行高效的压缩和重建。该技术在音频压缩、语音合成和音频生成等领域具有广泛的应用前景。随着研究的不断深入，神经音频编解码器在压缩率、重建质量和计算效率等方面仍有很大的提升空间。