原文地址：https://www.jianshu.com/p/1004dd342fe2
一、正交矩阵
二、EVD
特征值分解(Eigen Value Decomposition, EVD)。
对于对称阵(A_{m*m})，设特征值为(lambda_i)，对应的单位特征向量为(x_i)，则有
若(A)非满秩，会导致维度退化，使得向量落入(m)维空间的子空间中。
最后，(U)变换是(U^T)变换的逆变换。
三、SVD
奇异值分解(Singular Value Decomposition, SVD)。
对任意一个(m*n)的矩阵(A)，能否找到一组正交基使得其经过(A)变换后得到的还是一组正交基呢？
答案是能，这也正是SVD的设计精髓所在。
现假设存在(A_{m*n})，(rank(A)=k)。
因此，
(A=U Sigma V^T)，
(AA^T=(U Sigma V^T)(U Sigma V^T)^T=U Sigma V^T V Sigma^T U^T=U Sigma^2 U^T)，
(A^T A=(U Sigma V^T)^T(U Sigma V^T)= V Sigma^T U^T U Sigma V^T=V Sigma^2 V^T)。