Deep Learning2: PCA and Whitening

在Technion的暑期学校上，其实已经学过PCA，一直稀里糊涂的，知识点没有串起来

PCA和whitening 是对于数据的预处理，提高运算效率

1. PCA Principal Components Analysis 主成分析法

降低维度，数据可视化先均值化，再将不同维度数据归一化到同一维（除以最大值）

也就是对数据进行压缩，在降维的同时能够最大程度保留数据特征

将原始数据投射到低维度空间，求正交向量 $extstyle u_1$ $extstyle u_2$ 步骤如下，数据在主成分保留的特征最多

$egin{align} Sigma = frac{1}{m} sum_{i=1}^m (x^{(i)})(x^{(i)})^T. end{align}$

$extstyle u_1$ $extstyle u_2$ 分别是矩阵的第一特征向量和第二特征向量

得到矩阵U

$egin{align} U = egin{bmatrix} | & | & & | \ u_1 & u_2 & cdots & u_n \ | & | & & | end{bmatrix} end{align}$

接下来对数据进行转换

$egin{align} x_{ m rot} = U^Tx = egin{bmatrix} u_1^Tx \ u_2^Tx end{bmatrix} end{align}$

降维操作即只保留主要成分，其他设为0

$egin{align} ilde{x} = egin{bmatrix} x_{{ m rot},1} \ vdots \ x_{{ m rot},k} \ 0 \ vdots \ 0 \ end{bmatrix} approx egin{bmatrix} x_{{ m rot},1} \ vdots \ x_{{ m rot},k} \ x_{{ m rot},k+1} \ vdots \ x_{{ m rot},n} end{bmatrix} = x_{ m rot} end{align}$