PCA与LDA是两种典型的降维方法。其中PCA-无监督学习，LDA-有监督学习。
PCA可以有两种理解：降维后投影方差最大，或者是投影误差最小。
LDA可以理解为：投影类内距离最小，类间最大。（有类别的信息）
具体的PCA&LDA的推导过程详见 LeftNotEasy作者关于机器学习中数学相关文章。
http://www.cnblogs.com/LeftNotEasy/
LDA主要面临的问题是小样本问题：当样本的特征维度远远大于样本的数目时候，会出现样本的类内离散度矩阵不可逆，因此计算LDA投影矩阵不可行。
针对SSS问题，许多相关研究人员提出了对LDA算法的改进算法，比如NLDA，OLDA，PCA+LDA，ULDA等算法。
LDA还有一个问题是降维后的维度d<=c-1,其中c表示样本的类别数目。
过拟合，迹的比和比的迹问题...