前言
1，背景介绍
每个足球运动员在转会市场都有各自的价码。本次数据练习的目的是根据球员的各项信息和能力来预测该球员的市场价值。
2，数据来源
FIFA2018
3，数据文件说明
数据文件分为三个：
train.csv 训练集 文件大小为2.20MB
test.csv 预测集 文件大小为1.44KB
sample_submit.csv 提交示例 文件大小为65KB
训练集共有10441条样本，预测集中有7000条样本。每条样本代表一位球员，数据中每个球员
有61项属性。数据中含有缺失值。
4，数据变量说明
| id | 行编号，没有实际意义 |
| club | 该球员所属的俱乐部。该信息已经被编码。 |
| league | 该球员所在的联赛。已被编码。 |
| birth_date | 生日。格式为月/日/年。 |
| height_cm | 身高（厘米） |
| weight_kg | 体重（公斤） |
| nationality | 国籍。已被编码。 |
| potential | 球员的潜力。数值变量。 |
| pac | 球员速度。数值变量。 |
| sho | 射门（能力值）。数值变量。 |
| pas | 传球（能力值）。数值变量。 |
| dri | 带球（能力值）。数值变量。 |
| def | 防守（能力值）。数值变量。 |
| phy | 身体对抗（能力值）。数值变量。 |
| international_reputation | 国际知名度。数值变量。 |
| skill_moves | 技巧动作。数值变量。 |
| weak_foot | 非惯用脚的能力值。数值变量。 |
| work_rate_att | 球员进攻的倾向。分类变量，Low, Medium, High。 |
| work_rate_def | 球员防守的倾向。分类变量，Low, Medium, High。 |
| preferred_foot | 惯用脚。1表示右脚、2表示左脚。 |
| crossing | 传中（能力值）。数值变量。 |
| finishing | 完成射门（能力值）。数值变量。 |
| heading_accuracy | 头球精度（能力值）。数值变量。 |
| short_passing | 短传（能力值）。数值变量。 |
| volleys | 凌空球（能力值）。数值变量。 |
| dribbling | 盘带（能力值）。数值变量。 |
| curve | 弧线（能力值）。数值变量。 |
| free_kick_accuracy | 定位球精度（能力值）。数值变量。 |
| long_passing | 长传（能力值）。数值变量。 |
| ball_control | 控球（能力值）。数值变量。 |
| acceleration | 加速度（能力值）。数值变量。 |
| sprint_speed | 冲刺速度（能力值）。数值变量。 |
| agility | 灵活性（能力值）。数值变量。 |
| reactions | 反应（能力值）。数值变量。 |
| balance | 身体协调（能力值）。数值变量。 |
| shot_power | 射门力量（能力值）。数值变量。 |
| jumping | 弹跳（能力值）。数值变量。 |
| stamina | 体能（能力值）。数值变量。 |
| strength | 力量（能力值）。数值变量。 |
| long_shots | 远射（能力值）。数值变量。 |
| aggression | 侵略性（能力值）。数值变量。 |
| interceptions | 拦截（能力值）。数值变量。 |
| positioning | 位置感（能力值）。数值变量。 |
| vision | 视野（能力值）。数值变量。 |
| penalties | 罚点球（能力值）。数值变量。 |
| marking | 卡位（能力值）。数值变量。 |
| standing_tackle | 断球（能力值）。数值变量。 |
| sliding_tackle | 铲球（能力值）。数值变量。 |
| gk_diving | 门将扑救（能力值）。数值变量。 |
| gk_handling | 门将控球（能力值）。数值变量。 |
| gk_kicking | 门将开球（能力值）。数值变量。 |
| gk_positioning | 门将位置感（能力值）。数值变量。 |
| gk_reflexes | 门将反应（能力值）。数值变量。 |
| rw | 球员在右边锋位置的能力值。数值变量。 |
| rb | 球员在右后卫位置的能力值。数值变量。 |
| st | 球员在射手位置的能力值。数值变量。 |
| lw | 球员在左边锋位置的能力值。数值变量。 |
| cf | 球员在锋线位置的能力值。数值变量。 |
| cam | 球员在前腰位置的能力值。数值变量。 |
| cm | 球员在中场位置的能力值。数值变量。 |
| cdm | 球员在后腰位置的能力值。数值变量。 |
| cb | 球员在中后卫的能力值。数值变量。 |
| lb | 球员在左后卫置的能力值。数值变量。 |
| gk | 球员在守门员的能力值。数值变量。 |
| y | 该球员的市场价值（单位为万欧元）。这是要被预测的数值。 |
5，评估方法
可以参考博文：机器学习笔记：常用评估方法
6，完整代码，请移步小编的github
传送门：请点击我
数据预处理
此处实战一下数据预处理的理论知识点：请点击知识点1，或者知识点2
1，本文数据预处理的主要步骤
- （1） 删除和估算缺失值（removing and imputing missing values）
- （2）获取分类数据（Getting categorical data into shape for machine learning）
- （3）为模型构建选择相关特征（Selecting relevant features for the module construction）
- （4）对原表的年份数据进行填充，比如格式是这样的09/10/89 ，因为要计算年龄，所以补为完整的09/10/1989
- （5）将体重和身高转化为BMI指数
- （6）将球员在各个位置上的能力值转化为球员最擅长位置上的得分
2，分类数据处理
sklearn的官网地址：请点击我
对于定量特征，其包含的有效信息为区间划分，例如本文中work_rate_att 和 work_rate_def 他们分别代表了球员进攻的倾向和球员防守的倾向。用Low，Medium，High表示。所以我们可能会将其转化为0 ， 1，2 。
这里使用标签编码来处理，首先举例说明一下标签编码
from sklearn import preprocessing labelEncoding = preprocessing.LabelEncoder() labelEncoding.fit(['Low','Medium','High']) res = labelEncoding.transform(['Low','Medium','High','High','Low','Low']) print(res) # [1 2 0 0 1 1]
又或者自己编码：
import pandas as pd
df = pd.DataFrame([
['green', 'M', 10.1, 'class1'],
['red', 'L', 13.5, 'class2'],
['blue', 'XL', 15.3, 'class1']])
print(df)
df.columns = ['color', 'size', 'prize', 'class label']
size_mapping = {
'XL':3,
'L':2,
'M':1
}
df['size'] = df['size'].map(size_mapping)
print(df)
class_mapping = {label:ind for ind,label in enumerate(set(df['class label']))}
df['class label'] = df['class label'].map(class_mapping)
print(df)
'''
0 1 2 3
0 green M 10.1 class1
1 red L 13.5 class2
2 blue XL 15.3 class1
color size prize class label
0 green 1 10.1 class1
1 red 2 13.5 class2
2 blue 3 15.3 class1
color size prize class label
0 green 1 10.1 0
1 red 2 13.5 1
2 blue 3 15.3 0
'''
上面使用了两种方法，一种是将分类数据转换为数值型数据，一种是编码分类标签。
3，缺失值处理
3.1 统计空值情况
#using isnull() function to check NaN value df.isnull().sum()
本文中空值如下：
gk_positioning 0 gk_reflexes 0 rw 1126 rb 1126 st 1126 lw 1126 cf 1126 cam 1126 cm 1126 cdm 1126 cb 1126 lb 1126 gk 9315 y 0 Length: 65, dtype: int64
3.2 消除缺失值 dropna() 函数
一个最简单的处理缺失值的方法就是直接删掉相关的特征值（一列数据）或者相关的样本（一行数据）。利用dropna()函数实现。
# 参数axis 表示轴选择，axis = 0 代表行 axis = 1 代表列 df.dropna(axis = 1) df.dropna(axis = 0) # how参数选择删除行列数据（any / all） dropna(how = all) # 删除值少于int个数的值 dropna(thresh = int) # subset = [' '] 删除指定列中有空值的一行数据（整个样本）
虽然直接删除很简单，但是直接删除会带来很多弊端。比如样本值删除太多导致不能进行可靠预测；或者特征值删除太多（列数据）可能会失去很多有价值的信息。
3.3 插值法 interpolation techniques
比较常用的一种估值是平均值估计（mean imputation）。可以直接使用sklearn库中的imputer类实现。
class sklearn.preprocessing .Imputer
(missing_values = 'NaN', strategy = 'mean', axis = 0, verbose = 0, copy = True)
miss_values ：int 或者 NaN ，默认NaN（string类型）
strategy ：默认mean。平均值填补
可选项：mean（平均值）
median（中位数）
most_frequent（众数）
axis ： 指定轴向。axis = 0 列向（默认） axis =1 行向
verbose ：int 默认值为0
copy ：默认True ，创建数据集的副本
False：在任何合适的地方都可能进行插值
下面举例说明：
# 创建CSV数据集
import pandas as pd
from io import StringIO
import warnings
warnings.filterwarnings('ignore')
# 数据不要打空格，IO流会读入空格
csv_data = '''
A,B,C,D
1.0,2.0,3.0,4.0
5.0,6.0,,8.0
10.0,11.0,12.0,
'''
df = pd.read_csv(StringIO(csv_data))
print(df)
# 均值填充
from sklearn.preprocessing import Imputer
# axis = 0 表示列向 ，采用每一列的平均值填充空值
imr = Imputer(missing_values='NaN',strategy='mean',axis=0)
imr = imr.fit(df.values)
imputed_data = imr.transform(df.values)
print(imputed_data)
'''
A B C D
0 1.0 2.0 3.0 4.0
1 5.0 6.0 NaN 8.0
2 10.0 11.0 12.0 NaN
[[ 1. 2. 3. 4. ]
[ 5. 6. 7.5 8. ]
[10. 11. 12. 6. ]]
'''
4，将出生日期转化为年龄
如下，在这个比赛中，获取的数据中出现了出生日期的Series，下面我们对其进行转化。
下面我截取了一部分数据：
从数据来看，‘11/6/86’之类的数，最左边的数表示月份，中间表示日，最后的数表示年。
实际上我们在分析时候并不需要人的出生日期，而是需要年龄，不同的年龄阶段会有不同的状态，有可能age就是一个很好地特征工程指示变量。
那么如何将birth转化为age呢？这里使用到datetime这个库。
4.1 首先把birth_date转化为标准时间格式
# 将出生年月日转化为年龄
traindata['birth_date'] = pd.to_datetime(traindata['birth_date'])
print(traindata)
结果如下：
4.2 获取当前时间的年份，并减去birth_date 的年份
# 获取当前的年份
new_year = dt.datetime.today().year
traindata['birth_date'] = new_year - traindata.birth_date.dt.year
print(traindata)
这里使用了dt.datetime.today().year来获取当前日期的年份，然后将birth数据中的年份数据提取出来（frame.birth.dt.year），两者相减就得到需要的年龄数据，如下：
5，身高体重转化为BMI
官方的标杆模型对身高体重的处理使用的是BMI指数。
BMI指数是身体质量指数，是目前国际上常用的衡量人体胖瘦程度以及是否健康的一个标准。
这里直接计算，公式如下：
# 计算球员的身体质量指数（BMI） train['BMI'] = 10000. * train['weight_kg'] / (train['height_cm'] ** 2) test['BMI'] = 10000. * test['weight_kg'] / (test['height_cm'] ** 2)
6，将球员各个位置上的评分转化为球员最擅长位置的评分
目前打算将这11个特征转化为球员最擅长位置上的评分，这里计算方式只会取这11个特征中的最大值，当然这里也省去了对缺失值的判断，经过对数据的研究，我们发现有门将和射门球员的区分，如果使用最擅长位置的话就省去了这一步，但是如果这样直接取最大值的话会隐藏一些特征。
# 获得球员最擅长位置上的评分 positions = ['rw','rb','st','lw','cf','cam','cm','cdm','cb','lb','gk'] train['best_pos'] = train[positions].max(axis =1) test['best_pos'] = test[positions].max(axis = 1)
重要特征提取及其模型训练
1，使用随机森林提取重要特征
# 提取重要性特征
def RandomForestExtractFeature(traindata):
from sklearn.model_selection import train_test_split
from sklearn.ensemble import RandomForestClassifier
print(type(traindata)) # <class 'numpy.ndarray'>
X,y = traindata[:,1:-1],traindata[:,-1]
X_train,X_test,y_train,y_test = train_test_split(X,y,test_size=0.3,random_state=0)
# n_estimators 森林中树的数量
forest = RandomForestClassifier(n_estimators=100000,random_state=0,n_jobs=1)
forest.fit(X_train,y_train.astype('int'))
importances = forest.feature_importances_
return importances
模型训练及其结果展示
1，自己的Xgboost，没有做任何处理
#_*_ coding:utf-8_*_
import pandas as pd
import warnings
warnings.filterwarnings('ignore')
# 导入数据，并处理非数值型数据
def load_dataSet(filename):
'''
检查数据，发现出生日期是00/00/00类型，
work_rate_att work_rate_def 是Medium High Low
下面对这三个数据进行处理
然后对gk
:return:
'''
# 读取训练集
traindata = pd.read_csv(filename,header=0)
# 处理非数值型数据
label_mapping = {
'Low':0,
'Medium':1,
'High':2
}
traindata['work_rate_att'] = traindata['work_rate_att'].map(label_mapping)
traindata['work_rate_def'] = traindata['work_rate_def'].map(label_mapping)
# 将出生年月日转化为年龄
traindata['birth_date'] = pd.to_datetime(traindata['birth_date'])
import datetime as dt
# 获取当前的年份
new_year = dt.datetime.today().year
traindata['birth_date'] = new_year - traindata.birth_date.dt.year
# 处理缺失值
res = traindata.isnull().sum()
from sklearn.preprocessing import Imputer
imr = Imputer(missing_values='NaN',strategy='mean',axis=0)
imr = imr.fit(traindata.values)
imputed_data = imr.transform(traindata.values)
return imputed_data
# 直接训练回归模型
def xgboost_train(traindata,testdata):
from sklearn.model_selection import train_test_split
import xgboost as xgb
from xgboost import plot_importance
from matplotlib import pyplot as plt
from sklearn.externals import joblib
from sklearn.metrics import mean_squared_error
from sklearn.metrics import r2_score
X, y = traindata[:, 1:-1], traindata[:, -1]
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=1234567)
# n_estimators 森林中树的数量
model = xgb.XGBRegressor(max_depth=5,learning_rate=0.1,n_estimators=160,
silent=True,objective='reg:gamma')
model.fit(X_train,y_train)
# 对测试集进行预测
y_pred = model.predict(X_test)
# print(y_pred)
# 计算准确率，下面的是计算模型分类的正确率，
MSE = mean_squared_error(y_test, y_pred)
print("accuaracy is %s "%MSE)
R2 = r2_score(y_test,y_pred)
print('r2_socre is %s'%R2)
# test_pred = model.predict(testdata[:,1:])
# 显示重要特征
# plot_importance(model)
# plt.show()
# 保存模型
joblib.dump(model,'Xgboost.m')
# 使用模型预测数据
def predict_data(xgbmodel,testdata,submitfile):
import numpy as np
ModelPredict = np.load(xgbmodel)
test = testdata[:,1:]
predict_y = ModelPredict.predict(test)
submit_data = pd.read_csv(submitfile)
submit_data['y'] = predict_y
submit_data.to_csv('my_SVM_prediction.csv', index=False)
return predict_y
if __name__ == '__main__':
TrainFile= 'data/train.csv'
TestFile = 'data/test.csv'
SubmitFile = 'submit1.csv'
xgbmodel = 'Xgboost.m'
TrainData = load_dataSet(TrainFile)
TestData = load_dataSet(TestFile)
# RandomForestExtractFeature(TrainData)
xgboost_train(TrainData,TestData)
predict_data(xgbmodel,TestData,SubmitFile)
2，随机森林标杆模型
整理此随机森林训练模型的亮点
- 1，将出生年月日转化为球员的岁数（数据处理必须的）
- 2，将球员在各个位置的能力使用球员最擅长的位置表示（！！此处有待商榷）
- 3，利用球员的身体质量指数（BMI）来代替球员体重和身高这两个特征值
- 4，根据数据判断，发现各个位置的球员缺失值主要判断是否为守门员，此处按照是否为守门员来分别训练随机森林
- 5，最终使用height_cm（身高），weight_kg（体重），potential（潜力），BMI（球员身体指数），phy（身体对抗能力），international_reputation（国际知名度），age（年龄），best_pos（最佳位置）这9个特征来预测结果
#_*_coding:utf-8_*_
import pandas as pd
import numpy as np
import datetime as dt
from sklearn.ensemble import RandomForestRegressor
# 读取数据
train = pd.read_csv('data/train.csv')
test = pd.read_csv('data/test.csv')
submit = pd.read_csv('data/sample_submit.csv')
# 获得球员年龄
today = dt.datetime.today().year
train['birth_date'] = pd.to_datetime(train['birth_date'])
train['age'] = today - train.birth_date.dt.year
test['birth_date'] = pd.to_datetime(test['birth_date'])
test['age'] = today - test.birth_date.dt.year
# 获取球员最擅长位置的评分
positions = ['rw','rb','st','lw','cf','cam','cm','cdm','cb','lb','gk']
train['best_pos'] = train[positions].max(axis=1)
test['best_pos'] = test[positions].max(axis=1)
# 计算球员的身体质量指数（BMI）
train['BMI'] = 10000. * train['weight_kg'] / (train['height_cm'] ** 2)
test['BMI'] = 10000. * test['weight_kg'] / (test['height_cm'] ** 2)
# 判断一个球员是否是守门员
train['is_gk'] = train['gk'] > 0
test['is_gk'] = test['gk'] > 0
# 用多个变量准备训练随机森林
test['pred'] = 0
cols = ['height_cm', 'weight_kg', 'potential', 'BMI', 'pac',
'phy', 'international_reputation', 'age', 'best_pos']
# 用非守门员的数据训练随机森林
reg_ngk = RandomForestRegressor(random_state=100)
reg_ngk.fit(train[train['is_gk'] == False][cols] , train[train['is_gk'] == False]['y'])
preds = reg_ngk.predict(test[test['is_gk'] == False][cols])
test.loc[test['is_gk'] == False , 'pred'] = preds
# 用守门员的数据训练随机森林
reg_gk = RandomForestRegressor(random_state=100)
reg_gk.fit(train[train['is_gk'] == True][cols] , train[train['is_gk'] == True]['y'])
preds = reg_gk.predict(test[test['is_gk'] == True][cols])
test.loc[test['is_gk'] == True , 'pred'] = preds
# 输出预测值
submit['y'] = np.array(test['pred'])
submit.to_csv('my_RF_prediction.csv',index = False)
为什么会有两个结果？
这里解释一下，因为这里的标杆模型中的年龄的取值，是我以目前的时间为准，而不是以作者给的2018年为准，可能因为差了一岁导致球员的黄金年龄不同，价值也就不同。
随机森林调参（网格搜索）
#_*_coding:utf-8_*_
import pandas as pd
import numpy as np
import datetime as dt
from sklearn.ensemble import RandomForestRegressor
# 读取数据
train = pd.read_csv('data/train.csv')
test = pd.read_csv('data/test.csv')
submit = pd.read_csv('data/sample_submit.csv')
# 获得球员年龄
today = dt.datetime.today().year
train['birth_date'] = pd.to_datetime(train['birth_date'])
train['age'] = today - train.birth_date.dt.year
test['birth_date'] = pd.to_datetime(test['birth_date'])
test['age'] = today - test.birth_date.dt.year
# 获取球员最擅长位置的评分
positions = ['rw','rb','st','lw','cf','cam','cm','cdm','cb','lb','gk']
train['best_pos'] = train[positions].max(axis=1)
test['best_pos'] = test[positions].max(axis=1)
# 计算球员的身体质量指数（BMI）
train['BMI'] = 10000. * train['weight_kg'] / (train['height_cm'] ** 2)
test['BMI'] = 10000. * test['weight_kg'] / (test['height_cm'] ** 2)
# 判断一个球员是否是守门员
train['is_gk'] = train['gk'] > 0
test['is_gk'] = test['gk'] > 0
# 用多个变量准备训练随机森林
test['pred'] = 0
cols = ['height_cm', 'weight_kg', 'potential', 'BMI', 'pac',
'phy', 'international_reputation', 'age', 'best_pos']
# 用非守门员的数据训练随机森林
# 使用网格搜索微调模型
from sklearn.model_selection import GridSearchCV
param_grid = [
{'n_estimators':[3,10,30], 'max_features':[2,4,6,8]},
{'bootstrap':[False], 'n_estimators':[3,10],'max_features':[2,3,4]}
]
forest_reg = RandomForestRegressor()
grid_search = GridSearchCV(forest_reg, param_grid ,cv=5,
scoring='neg_mean_squared_error')
grid_search.fit(train[train['is_gk'] == False][cols] , train[train['is_gk'] == False]['y'])
preds = grid_search.predict(test[test['is_gk'] == False][cols])
test.loc[test['is_gk'] == False , 'pred'] = preds
# 用守门员的数据训练随机森林
# 使用网格搜索微调模型
from sklearn.model_selection import GridSearchCV
'''
先对estimators进行网格搜索，[3,10,30]
接着对最大深度max_depth
内部节点再划分所需要最小样本数min_samples_split 进行网格搜索
最后对最大特征数,ax_features进行调参
'''
param_grid1 = [
{'n_estimators':[3,10,30], 'max_features':[2,4,6,8]},
{'bootstrap':[False], 'n_estimators':[3,10],'max_features':[2,3,4]}
]
'''
parm_grid 告诉Scikit-learn 首先评估所有的列在第一个dict中的n_estimators 和
max_features的 3*4=12 种组合，然后尝试第二个dict中的超参数2*3 = 6 种组合，
这次会将超参数bootstrap 设为False 而不是True（后者是该超参数的默认值）
总之，网格搜索会探索 12 + 6 = 18 种RandomForestRegressor的超参数组合，会训练
每个模型五次，因为使用的是五折交叉验证，换句话说，训练总共有18 *5 = 90 轮，、
将花费大量的时间，完成后，就可以得到参数的最佳组合了
'''
forest_reg1 = RandomForestRegressor()
grid_search1 = GridSearchCV(forest_reg, param_grid1 ,cv=5,
scoring='neg_mean_squared_error')
grid_search1.fit(train[train['is_gk'] == True][cols] , train[train['is_gk'] == True]['y'])
preds = grid_search1.predict(test[test['is_gk'] == True][cols])
test.loc[test['is_gk'] == True , 'pred'] = preds
# 输出预测值
submit['y'] = np.array(test['pred'])
submit.to_csv('my_RF_prediction1.csv',index = False)
# 打印参数的最佳组合
print(grid_search.best_params_)
3，决策树标杆模型（四个特征）
整理此决策树训练模型的亮点
- 1，将出生年月日转化为球员的岁数（数据处理必须的）
- 2，将球员在各个位置的能力使用球员最擅长的位置表示（！！此处有待商榷）
- 3，直接使用潜力，国际知名度，年龄，最擅长位置评分这四个变量建立决策树（我觉得有点草率）
#_*_coding:utf-8_*_
import pandas as pd
import datetime as dt
from sklearn.tree import DecisionTreeRegressor
# 读取数据
train = pd.read_csv('data/train.csv')
test = pd.read_csv('data/test.csv')
submit = pd.read_csv('data/sample_submit.csv')
# 获得球员年龄
today = dt.datetime.today().year
train['birth_date'] = pd.to_datetime(train['birth_date'])
train['age'] = today - train.birth_date.dt.year
test['birth_date'] = pd.to_datetime(test['birth_date'])
test['age'] = today - test.birth_date.dt.year
# 获得球员最擅长位置上的评分
positions = ['rw','rb','st','lw','cf','cam','cm','cdm','cb','lb','gk']
train['best_pos'] = train[positions].max(axis =1)
test['best_pos'] = test[positions].max(axis = 1)
# 用潜力，国际知名度，年龄，最擅长位置评分 这四个变量来建立决策树模型
col = ['potential','international_reputation','age','best_pos']
reg = DecisionTreeRegressor(random_state=100)
reg.fit(train[col],train['y'])
# 输出预测值
submit['y'] = reg.predict(test[col])
submit.to_csv('my_DT_prediction.csv',index=False)
结果如下：
