奇异值分解的原理（Singular Value Decomposition (SVD)）

奇异值分解的背景
矩阵（方阵）的对角化存在三大问题：（1） 特征向量通常不正交；（2）特征向量的数量通常不足；（3）要求矩阵是方阵。

AATAA^{\mathrm{T}}AAT和 ATAA^{\mathrm{T}}AATA的特征分解
u和v分别是其特征向量

奇异值分解
A[v1⋅⋅vr⋅vn]=[u1⋅ur⋅um][σ1⋱σr]A\left[v_{1} \cdot \cdot v_{r} \cdot v_{n}\right]=\left[u_{1} \cdot u_{r} \cdot u_{m}\right]\left[\begin{array}{c}\sigma_{1} \\ \ddots \\ \sigma_{r}\end{array}\right]A[v1​⋅⋅vr​⋅vn​]=[u1​⋅ur​⋅um​]⎣⎡​σ1​⋱σr​​⎦⎤​