利用PCA主成分分析法对数据进行降维
原理 : 我们一般使用数据降维来降低模型的复杂度,把数据集从一个散点组成的面变成一条直线,也就是从二维变成了一维,这就是数据降维,而其中用到的方法就是主成分分析法(Principal Component Analysis ,PCA)
1.导入数据集并用StandardScaler进行数据预处理
############################# 通过数据预处理提高模型准确率 ####################################### #导入红酒数据集 from sklearn import datasets wine = datasets.load_wine() #导入数据预处理工具 from sklearn.preprocessing import StandardScaler #导入画图工具 import matplotlib.pyplot as plt #对红酒数据集进行预处理 scaler = StandardScaler() X = wine.data y = wine.target X_scaled = scaler.fit_transform(X) #打印处理后的数据集形态 print(X_scaled.shape)
(178, 13)
2.导入PCA模块并进行数据处理
#导入PCA from sklearn.decomposition import PCA #设置主成分数量为2,以便我们进行可视化 pca = PCA(n_components=2) pca.fit(X_scaled) X_pca = pca.transform(X_scaled) #打印主成分提取后的数据形态 print(X_pca.shape)
(178, 2)
3.用经过PCA处理的数据集进行可视化
#将三个分类中的主成分提取出来
X0 = X_pca[wine.target==0]
X1 = X_pca[wine.target==1]
X2 = X_pca[wine.target==2]
#绘制散点图
plt.scatter(X0[:, 0],X0[:, 1],c='b',s=60,edgecolor='k')
plt.scatter(X1[:, 0],X1[:, 1],c='g',s=60,edgecolor='k')
plt.scatter(X2[:, 0],X2[:, 1],c='r',s=60,edgecolor='k')
#设置图注
plt.legend(wine.target_names,loc='best')
plt.xlabel('component 1')
plt.ylabel('component 2')
#显示图像
plt.show()
4.原始特征与PCA主成分之间的关系
#使用主成分绘制热度图 plt.matshow(pca.components_,cmap='plasma') #纵轴为主成分数 plt.yticks([0,1],['component 1','component 2']) plt.colorbar() #横轴为原始特征数量 plt.xticks(range(len(wine.feature_names)),wine.feature_names,rotation=60,ha='left') #显示图形 plt.show()
总结 :
经过降维后的两个主成分是如图的关系,颜色由深至浅代表一个-0.5～0.4的数值,而在两个主成分中,分别涉及了所有的13个特征,如果是正数则是正相关关系,如果是负数则是负相关关系.
在使用PCA过程中,我们会对PCA中的n_components进行设置,其含义不仅可以代表成分的个数,还可以设置降维之后保留信息的百分比.如:我们希望降维之后保留原始特征的90%的信息,则设置n_components为0.9
文章引自:《深入浅出python机器学习》