Python数据挖掘—聚类—KMeans划分法

概念

聚类分析：是按照个体的特征将它们分类，让同一个类别内的个体之间具有较高的相似度，不同类别之间具有较大差异性
无分类目标变量(Y)——无监督学习

K-Means划分法、DBSCAN密度法、层次聚类法

1、导入数据

 1 import pandas
 2 from sklearn.cluster import KMeans
 3 from sklearn.decomposition import PCA
 4 
 5 import matplotlib.pyplot as plt
 6 
 7 f=open("D:\学习资料\Python数据挖掘实战课程课件\7.1\data.csv",encoding='UTF-8')
 8 data=pandas.read_csv(f)
 9 
10 fColumns=[
11     '工作日上班时电话时长', '工作日下半时电话时长', 
12     '周末电话时长', 
13     '国际电话时长', '总电话时长', '平均每次通话时长'
14 ]

View Code

2、确定特征变量，特征变量之间的相关系数，确定因变量，重新确定特征变量

 1 import matplotlib
 2 from pandas.tools.plotting import scatter_matrix
 3 
 4 font={
 5       "family":"SimHei"}
 6 
 7 matplotlib.rc("font",**font)
 8 matplotlib.rcParams["axes.unicode_minus"]=False
 9 
10 #%matplotlib qt
11 
12 scatter_matrix(
13         data[fColumns],
14         figsize=(10,10),diagonal="hist")
15 
16 
17 dCorr=data[fColumns].corr()
18 
19 
20 fColumns=[
21     '工作日上班时电话时长', '工作日下半时电话时长', 
22     '周末电话时长', 
23     '国际电话时长', '平均每次通话时长'
24 ]

View Code

3、降维、设定质心

 1 #降维
 2 pca_2=PCA(n_components=2)
 3 data_pca_2=pandas.DataFrame(
 4         pca_2.fit_transform(data[fColumns]))
 5 
 6 plt.scatter(
 7         data_pca_2[0],
 8         data_pca_2[1])
 9 
10 
11 kmModel=KMeans(n_clusters=3)
12 kmModel=kmModel.fit(data[fColumns])

View Code

4、对图像分类并画图

 1 #对图像进行分类
 2 pTarget=kmModel.predict(data[fColumns])
 3 
 4 pandas.crosstab(pTarget,pTarget)  #看每类别的个数
 5 
 6 
 7 plt.scatter(
 8         data_pca_2[0],
 9         data_pca_2[1],
10         c=pTarget
11         )

View Code

5、不同特征量之间的相关性

 1 dMean=pandas.DataFrame(columns=fColumns+["分类"])
 2 data_gb=data[fColumns].groupby(pTarget)
 3 
 4 i=0
 5 for g in data_gb.groups:
 6     print(g)
 7     rMean=data_gb.get_group(g).mean()    #rMean是一个series结构
 8     print(rMean)
 9     rMean["分类"]=g        #在最后追加一行
10     dMean=dMean.append(rMean,ignore_index=True)   #将series添加在dataframe中
11     subData=data_gb.get_group(g)  
12     for column in fColumns:
13         print(column)
14         i=i+1
15         p=plt.subplot(3,5,i)
16         p.set_title(column)
17         p.set_ylabel(str(g)+"分类")
18         plt.hist(subData[column],bins=20)