Unsupervised Learning: Neighbor Embedding

Unsupervised Learning: Neighbor Embedding

非线性降维

Manifold Learning（流形学习）

• 高维曲面空间降维到低维（例如二维）空间，使得欧氏几何关系成立

  

Locally Linear Embedding（LLE）

• 用 $w_{ij}$ 表示空间两点 $x^i$ 和 $x^j$ 之间的关系。$x^i$ 可以由周围的点做加权和表示出来

• 找一组 $w_{ij}$ 最小化：

  $$\sum_i||x^i-\sum_jw_{ij}x^j||_2$$

• 根据 $w_{ij}$ 将 $x_i$ 、$x_j$ 转化为 $z_i$ 、$z_j$

  • 保持 $w_{ij}$ 不变，找到一组低维向量 $z^i$ 最小化： $$\sum_i||z^i-\sum_jw_{ij}z^j||_2$$

• 选取neighbor的个数会对最终结果产生一定影响，太大太小都不行

Laplacian Eigenmaps

• Graph-based approach