什么是非线性降维（NLDR）

非线性降维（Nonlinear Dimensionality Reduction, NLDR）‍ 是一种数据分析方法，旨在解决线性降维算法（如PCA）无法处理的复杂数据结构问题。

1. 什么是非线性降维？

非线性降维是指数据分布在高维空间中的某个 低维非线性流形（Manifold）‍ 上，无法通过简单的线性变换将其映射到低维空间。这类算法通过非线性变换，保留数据的局部或全局结构，将高维数据映射到低维空间，以便可视化、降噪或特征提取。

2. 为什么需要非线性降维？

线性降维（如PCA）只能捕捉数据的线性关系，难以处理高维空间中的曲线、曲面等复杂结构。例如，手写数字图像在像素空间中是高维的，但其本质结构可能是一个二维的流形。线性方法无法有效展开这个流形，而非线性方法可以将其“拉直”。

3. 常见非线性降维算法介绍

根据核心思想的不同，常见的非线性降维算法可以分为以下几类：

A. 基于流形学习（Manifold Learning）的算法

这类方法假设数据位于流形上，主要目标是保持局部结构或测地距离。

1. Isomap (等距映射)
   • 原理：假设流形是局部线性、整体非线性的。它首先构建邻接图（局部），然后计算图中的最短路径长度作为测地距离（全局），最后使用多维尺度变换（MDS）进行嵌入。
   • 特点：保留全局结构，适合于“瑞士卷”类的数据集。
2. LLE (局部线性嵌入)
   • 原理：假设数据在局部范围内是线性的。它通过保留每个点对其邻居的线性重构误差来实现降维。
   • 特点：完全保持局部结构，不进行全局优化，计算复杂度较低。
3. Laplacian Eigenmaps (拉普拉斯特征映射) / LPP (局部保持投影)
   • 原理：基于图拉普拉斯矩阵的特征分解，强调保持局部相似度。
   • 特点：在保持局部邻域的同时，提供了明确的映射函数。
4. Diffusion Maps (扩散映射)
   • 原理：构建一个随机游走的扩散过程，通过分析随机过程的时间演化来捕捉数据的几何结构。
   • 特点：对噪声有很强的鲁棒性，能够捕捉数据的多尺度结构。

B. 基于概率分布的算法

主要关注在局部邻域内保留数据的概率分布特征。

1. t-SNE (t-分布随机近邻嵌入)
   • 原理：通过构建高维空间中数据点对的概率分布（基于高斯核），以及低维空间中的概率分布（基于t分布），并最小化它们的KL散度。
   • 特点：在保持局部结构上表现极佳，常用于数据可视化（如聚类结果展示），但难以解释全局结构。
2. UMAP (统一流形近似与投影)
   • 原理：基于拓扑数据分析（TDA），利用Riemannian几何和代数拓扑理论，近似高维流形的结构。
   • 特点：比t-SNE更快，且在保持全局结构上表现更好，已成为近年来最流行的可视化降维方法。

C. 基于核方法和深度学习的算法

1. KPCA (核主成分分析)
   • 原理：通过核函数（如RBF核）将数据隐式映射到高维特征空间，在该空间进行线性PCA。
   • 特点：保留了非线性特征，计算复杂度较高。
2. Autoencoders (自编码器)
   • 原理：基于神经网络结构，将输入数据压缩（编码）为低维向量，再还原（解码），通过最小化重构误差实现降维。
   • 特点：是最典型的深度学习降维方法，能够处理超大规模数据集（如图像、视频）。

D. 其他特殊方法

• Sammon Mapping (Sammon映射)
  • 原理：保留高维空间中点对之间的欧氏距离，强调近邻点的重要性。
• Hessian LLE / Modified LLE / LTSA
  • 原理：都是对原始LLE算法的改进，旨在更好地处理特定的流形结构或保持高阶局部特性。

总结

非线性降维算法是处理复杂高维数据的核心工具。选择合适的算法取决于你的具体需求：

• 如果是为了可视化（如绘制散点图）‍：优先考虑 t-SNE 或 UMAP。
• 如果需要保留全局结构：考虑 Isomap 或 UMAP。
• 如果数据量巨大且需要学习映射函数：考虑 自编码器 (Autoencoders)。