[作者：byeyear Email：east3@163.com 首发www.cnblogs.com 转载请注明]
回忆学校的美好时光，一起来复习下曾经的课程吧。
1. SVD推荐ams上的一篇文章：
http://www.ams.org/samplings/feature-column/fcarc-svd
下面的文字为简短摘要。
我们知道，如果矩阵A有一组特征值λk和特征向量vk，那么下式成立：
Avk=λvk
矩阵的奇异值σ满足类似的式子，如下所示：
Avk=σkuk
各单位向量vk相互正交；各单位向量uk也相互正交。
以二阶矩阵为例，它有两个奇异值σ1，σ2：
Av1=σ1u1
Av2=σ2u2
v1和v2正交，u1和u2正交，且均为单位向量。对于R2中的任意向量x，若将其投影到span{v1,v2}，那么：
Ax=A[(v1·x)v1+(v2·x)v2]
=(v1·x)Av1+(v2·x)Av2
=(v1·x)σ1u1+(v2·x)σ2u2
=u1σ1v1Tx+u2σ2v2Tx // 此处利用了mTnp=pmTn，p，m，n为同阶向量
因此A=u1σ1v1T+u2σ2v2T
写成更一般的矩阵形式，就是：
A=UΣV
其中：
A是mxn矩阵
U=[u1 u2 ... um]，是mxm方阵
Σ是主对角线为σ1 ... σn的mxn准对角矩阵
V=[v1 v2 ... vn]，是nxn方阵