Python数据挖掘—分类—随机森林

 

概念

随机森林(RandomForest)：随机森林是一个包含多个决策树的分类器，并且其输出的类别是由个别数输出的类别的众数而定

优点：适合离散型和连续型的属性数据；对海量数据，尽量避免了过度拟合的问题；对高维数据，不会出现特征选择困难的问题；实现简单，训练速度快，适合 进行分布式计算

import pandas;

data = pandas.read_csv(
    "D:\PDM\5.3\data.csv"
);

dummyColumns = ["Gender", "ParentEncouragement"]

for column in dummyColumns:
    data[column]=data[column].astype('category')

dummiesData = pandas.get_dummies(
    data, 
    columns=dummyColumns,
    prefix=dummyColumns,
    prefix_sep="=",
    drop_first=True
)
dummiesData.columns

fData = dummiesData[[
    'ParentIncome', 'IQ', 'Gender=Male',
    'ParentEncouragement=Not Encouraged'
]]

tData = dummiesData["CollegePlans"]

from sklearn.tree import DecisionTreeClassifier
from sklearn.ensemble import RandomForestClassifier
from sklearn.model_selection import cross_val_score

dtModel = DecisionTreeClassifier()

dtScores = cross_val_score(
    dtModel, 
    fData, tData, cv=10
)

dtScores.mean()

rfcModel = RandomForestClassifier()

rfcScores = cross_val_score(
    rfcModel, 
    fData, tData, cv=10
)

rfcScores.mean()

决策树评分：

随机森林评分：

发现随机森林在不调优的情况下，得分高于决策树模型

调优：设置：max_leaf_nodes=8

#对连个模型进行调优
dtModel=DecisionTreeClassifier(max_leaf_nodes=8)

dtScores=cross_val_score(
        dtModel,
        fData,tData,cv=10)

dtScores.mean()

rfcModel=RandomForestClassifier(max_leaf_nodes=8)

rfcScores=cross_val_score(
    rfcModel,
    fData,tData,cv=10)

rfcScores.mean()

决策树评分：

随机森林评分：