1.主成分分析
在PCA中，数据从原来的坐标系换到了新的坐标系，新坐标系的选择是由数据本身决定的。第一个新坐标轴选择的是原始数据中方差最大的方向，第二个新坐标轴的选择和第一个坐标轴正交且具有最大方差的方向。该过程一直重复，重复次数为原始数据中特征的数目。我们会发现，大部分方差都包含在最前面的几个新坐标轴中。因此，我们可以忽略余下的坐标轴，即对数据进行了降维处理。在确定需要保留几个特征的时候，可以根据前几个特征值累加占总的特征值之和的比例确认，这反映了保留的特征可以解释数据多少方差。
2.因子分析
在因子分析中，我们假设在观察数据的生成中有一些观察不到的隐变量。假设观察数据是这些隐变量和某些噪声的线性组合。那么隐变量的数据可能比观察数据的数目少，也就是说通过找到隐变量就可以实现数据的降维。
3.独立成分分析
ICA假设数据是从N个数据源生成的，这一点和因子分析有点类似。假设数据为多个数据源的混合观察结果，这些数据源之间在统计上是相互独立的。同因子分析一样，如果数据源的数目少于观察数据的数目，则可以实现降维过程。