PCA understanding

PCA understanding

我们希望获取玩具的位置，事实上我们只需要知道玩具在x轴的位置就可以了（但现实不知道）。我们利用三个坐标轴，获取了2*3维度的数据，现实中我们如何通过分析六维度数据来获取玩具的位置？

可以从上图看出camera A,B,C的x,y轴相关度都很明显，数据有冗余。

l 如何压缩数据？如何去除数据中的噪声，或者合并数据中相关的维度（来获取x轴数据）

l How to change the basis of the data

Let X be the original data set, where each column is a single sample of our data set. In the toy

example X is an m×n matrix where m = 6 and n = 72000.Let Y be another m×n matrix related by a linear transformation P. X is the original recorded data set and Y is a new representation of that data set. m=6（每组数据6维度）n=72000(72000组sample)

从数学方面解释就是，找个一个正定矩阵P, 使得数据X转换到Y之后（Y=PX），使得是对角矩阵，The rows of P are the principal components of X.

以特征值大小排列特征值与特征向量，数据压缩时，可以删掉后面较小的特征值与特征向量。

SVD与PCA的关系

可以看出通过SVD变换,对于X可以找出PCA中的转换矩阵P=U’, 对于X’可以找出PCA中的转换矩阵P=V’.

参考文献：

A_Tutorial_on_Principal_Component_Analysis