样本方差推导

样本方差公式$$S = frac{1}{n-1}sum_{i=1}^n(x_i-mu_i)^2$$

扩展开来得到$$S = frac{1}{n-1}[(X-frac{1}{n}X^TI_nI_n^T)^T(X-frac{1}{n}X^TI_nI_n^T)]$$

[S = frac{1}{n-1}X^T(I_n - frac{1}{n}I_nI_n^T)(I_n - frac{1}{n}I_nI_n^T)X ]

令(H = I_n - frac{1}{n}I_nI_n^T)得$$S = frac{1}{n-1}X^THX$$

其中H为等幂矩阵HH=H和中心矩阵(H_n*I_n = 0)

核PCA推导

核函数:设X是输入空间((R^n)的子集或离散子集),又F为特征空间(希尔伯特空间)，如果存在一个从X到F的隐射$$phi (X):X -> F$$使得对所有x,zin X,函数K(x,z)满足条件$$K(x,z) = phi (x)ullet phi (z)$$

下面推导F投影到的主成分定义的平面，根据F样本方差的特征值分解得(为推导方便去掉前面的((frac{1}{n-1}))$$F^THFV_i = lambda _i V_i$$由于H为等逆矩阵，则$$F^THHFV_i = lambda _i V_i$$

由于想得到F很难，我们换一种思路将求F转移求K上，根据AA^T与A^TA的关系：非零特质值相同，得到$$HFF^THU_i = lambda _iU_i $$

两边同时乘以(F^TH)得到$$F^THHFF^THU_i = lambda _iF^THU_i$$

从上式可以得到(F^THU_i)为(F^THHF)的特征向量

将(F^THU_i)进行归一化$$U_{normal} = frac{F^THU_i}{{||U_i^THFF^THU_i||}_2}$$

由于(HFF^TH = HKH = lambda _i),则$$U_{normal} = lambda ^{-frac{1}{2}}F^THU_i$$

F投影到(U_normal)定义的平面$$P = F_{center} U_{normal}$$

[P= (F-frac{1}{n}sum_{i=1}^nF_i)(lambda ^{-frac{1}{2}}F^THU_i) ]

[P= (F-frac{1}{n}F^TI_n)(lambda ^{-frac{1}{2}}F^THU_i) ]

[P= lambda ^{-frac{1}{2}}(K - frac{1}{n}K(x,x_i))HU_i ]