简单推导 PCA 考虑二维数据降低到一维的例子,如下图所示: 最小化投影方差(maximize projected variance): 1N∑n=1N(uuT1xn−uuT1x¯)=uuT1Suu1,s.t.uuT1uu1=1 则根据拉格朗日乘子法,有: uuT1Suu1+λ(1−uuT1uu1) 对 uu1 求导数,得: Suu1=λuu1 可见投影的最佳方向就是,样本协方差矩阵的特征向量方向;