已知: 已知 (A in R^{m imes n}, m ge n)
问题: (Ax = 0) 的解
求解: 解为A的右奇异矩阵V的最后一列, 即 (A^TA) 最小特征值对应的特征向量
基础知识
实对称矩阵
实对称矩阵: (A = A^T, A in R^{n imes n})
性质:
- 实对称矩阵A的不同特征值对应的特征向量是正交的。
- 实对称矩阵A的特征值都是实数，特征向量都是实向量。
- n阶实对称矩阵A必可相似对角化，且相似对角阵上的元素即为矩阵本身特征值。
由以上可知, (A^TA) 为实对称矩阵
正交矩阵
(square) 正交矩阵Q是一个方阵，其元素为实数，而且行与列皆为正交的单位向量，使得该矩阵的转置矩阵为其逆矩阵：
[{displaystyle Q^{T}=Q^{-1}Leftrightarrow Q^{T}Q=QQ^{T}=I.\,!}
]
奇异值分解
A = (U Sigma V^T, Sigma 为对角矩阵, U,V 分别为正交矩阵)
式中 (Sigma = egin{bmatrix} Sigma_1 & O \ O & O end{bmatrix}), 且 (Sigma_1=diag(sigma1,sigma2, ..., sigma_r)), 其对角线按照顺序
[sigma1ge sigma2 gesigma_r>0, quad
r = f Rank(A)]
排列.
数值 (sigma1,sigma2, ..., sigma_r) 连同 (sigma_{r+1} =sigma_{r+1}=cdots=sigma_n=0) 一起称为矩阵A的奇异值
[A[v_1,cdots,v_r,cdots,v_n] = [u_1, cdots,u_r,cdots,u_m]egin{bmatrix}sigma_1\&ddots\&&sigma_r\&&&0 \ &&&&ddots \&&&&&0end{bmatrix} \
AV = U Sigma Rightarrow A = USigma V^{-1} = USigma V^T \
A^TA = ( USigma V^T)^T USigma V^T = VSigma ^2V^T \
AA^T = USigma V^T( USigma V^T)^T = USigma ^2U^T \
]
解答
V 为正交矩阵, (AV = U Sigma), 列向量形式为
[Av_i=egin{cases} sigma_iu_i, quad &i=1,2,3,cdots,r \
0, quad quad &i=r+1,r+2,cdots,n
end{cases}
]
从上奇异值分解列向量形式可以看出, 取最小特征值对应的特征向量即为Ax=0的近似解
(Ax = 0 cong A^TAx = A^T0 = 0)
solution 2
(T = |Ax|_2, 约束|x|_2 = 1)
[T= |Ax|_2 = (Ax)^T(Ax = x^TA^TAx =x^T(A^TAx)= x^T(sigma_i^2 x)) = sigma_i^2 x^Tx =sigma_i^2|x|_2 = sigma_i^2
]
其中 (sigma_i) 为 (A) 的奇异值, (x) 为A的右奇异矩阵最小的奇异值对应的特征向量.