一、数据分析的步骤
二、提出问题：
如本考题三个题目所示：
三、获取数据源
采用本考题提供的数据源：data..xlsx
分析工具：Excel、Jupyter Notebook
环境：Window10
语言：python
四、理解数据
#导入数据 import pandas as pd dataDf = pd.read_excel('data.xlsx')
#查看数据结构 dataDf.head(2)
查看两行27列
#获取数据类型列的描述统计信息 dataDf.describe()
只有简历号；年龄；工作公司数；工作稳定性。这四个字段属于数值类型
# 查看每一列的数据类型，和数据总数 dataDf.info()
<class 'pandas.core.frame.DataFrame'> RangeIndex: 1430 entries, 0 to 1429 Data columns (total 27 columns): 简历号 1430 non-null int64 应聘职位 1430 non-null object 性别 1430 non-null object 出生日期 1430 non-null datetime64[ns] 年龄 1430 non-null int64 居住地 1430 non-null object 期望薪资 1407 non-null object 地点 1409 non-null object 职能/职位 1430 non-null object 行业 1149 non-null object 工作类型 1430 non-null object 学校 1430 non-null object 办学类型 1430 non-null object 专业 1420 non-null object 工作经验 1348 non-null object 工作时间 1430 non-null object 公司名称 1430 non-null object 公司规模 1430 non-null object 公司行业 1430 non-null object 性质 1430 non-null object 部门 1430 non-null object 职位 1430 non-null object 工作公司数 1430 non-null int64 工作年限 1430 non-null object 工作稳定性 1430 non-null int64 是否稳定 1430 non-null object 技能/语言 578 non-null object dtypes: datetime64[ns](1), int64(4), object(22) memory usage: 301.7+ KB
dataDf.info()查询结果表明：
字段说明 总共有1430行，27个字段 其中有6个字段有缺失 期望薪资 1407 non-null object 缺失了1430-1407=23，缺失率23/1430=1.6%） 地点 1409 non-null object 缺失了1430-1409=23，缺失率21/1430=1.5%） 职能/职位 1430 non-null object 行业 1149 non-null object 缺失了1430-1149=281，缺失率281/1430=19.6%） 专业 1420 non-null object 缺失了1430-1420=10，缺失率10/1430=0.7%） 工作经验 1348 non-null object 缺失了1430-1348=82，缺失率82/1430=5.7%） 技能/语言 578 non-null object 缺失了1430-578=852，缺失率852/1430=59.6%）
五、数据清洗
数据清洗的一般步骤如下：
我们数据的清洗放到每一分析问题下进行操作
六、建立模型
问题一：
（1）选择子集
本次分析不需要
（2）列表重命名
本次分析不需要
（3）删除重复值
print('删除重复值前大小',dataDf.shape) # 删除重复记录 dataDf = dataDf.drop_duplicates() print('删除重复值后大小',dataDf.shape)
说明，数据集没有重复值
（4）删除/填充缺失值
G字段除了有Nan还有无
G字段：
1407 non-null object 缺失了1430-1407=23，缺失率23/1430=1.6%）
讲G字段 nan全部填充成无
new_data = dataDf.fillna({'期望薪资':'无'})
new_data['期望薪资']
这样不存在缺失值
（5）一致化处理：讲不同的单位化为统一
查看各单位类型：
"""将不同单位的薪资形式，转化成统一形式""" print(new_data['期望薪资'].str[-6:].value_counts())
查询得出有如下单位类型：
元/月
万元/月
元年
无
万以下元/年
以下元/月
查询：万以下元/年 ；以下元/月。范围
"""将不同单位的薪资形式，转化成统一形式""" print(new_data['期望薪资'].str[-10:].value_counts())
确定为2万以下元/年
确定为1500以下元/月
讲单位统一：
"""将不规则的薪资形式转化为统一形式""" new_data.loc[new_data['期望薪资'].str[-6:]=='万以下元/年','期望薪资']= '0-2万元/年' new_data.loc[new_data['期望薪资'].str[-5:]=='以下元/月','期望薪资']='0-1500元/月' new_data['期望薪资'].str[-6:].value_counts()
统一成四个单位：
元/月
万元/月
元/年
无
将上述四个单位统一成平均月薪(元/月)
import re def salary_p(salary): """将传入的薪资转化成统一的平均月薪""" if salary == '无': return 0 elif re.search('元/月',salary): s = re.findall('(d+)-(d+)元/月',salary) # s=[('1000','10000')] mi,ma = int(s[0][0]),int(s[0][1]) return (mi+ma)*0.5 elif re.search('万元/年',salary): s = re.findall('(d+)-(d+)万元/年',salary) mi,ma = int(s[0][0]),int(s[0][1]) return (mi+ma)*0.5*10000/12 elif re.search('元/年',salary): s = re.findall('(d+)-(d+)元/年',salary) mi,ma = int(s[0][0]),int(s[0][1]) return (mi+ma)*0.5/12 else: return -1
可视化展示：
import matplotlib.pyplot as plt xl_cnt = new_data.groupby('salary_class')['salary_class'].count() xl_cnt = xl_cnt.sort_values() fig = plt.figure(figsize=(12,5)) plt.bar(xl_cnt.index,xl_cnt.values) plt.xlabel('薪资分组') plt.xticks(rotation=90) plt.title('分组数目')
问题二：
缺失值处理
技能/语言 578 non-null object 缺失了1430-578=852，缺失率852/1430=59.6%）
#问题二：缺失值处理 """处理缺失值""" new_data['技能/语言'].fillna('无',inplace=True) new_data.info()
技能/语言 缺失值处理完成
"""提取技能关键词""" new_data['skill'] = new_data['技能/语言'].str.findall('[a-zA-Z0-9s#.+/]+') """处理技能词前后的空格，并统一转化成小写""" new_data['skill2']='' for i in new_data['skill'].index: new_data.loc[i,'skill2']=",".join(map(lambda x:x.strip().lower(),new_data.loc[i,'skill']))
"""将每个人的技能和目标技能进行比较，统计技能数""" new_data['skill_class']=0 s = ['photoshop','corel draw','ai'] for i in new_data['skill2'].index: skill = new_data['skill2'].iloc[i] b = 0 for j in s: if j in skill: b+=1 new_data.loc[i,'skill_class']=b
new_data['skill_class'].value_counts()
new_data['skill_class'].map({0:'全不包含',1:'包含其中一项或两项',2:'包含其中的一项或两项',3:'三项技能全包含'})
可视化展示：
import matplotlib.pyplot as plt #定义饼状图的标签，标签是列表 labels =[ '0','1或者2','3'] #每个标签占多大，会自动去算百分比 x = [1120,307,3] explode = (0.3,0,0.1) # 绘制饼图 plt.pie(x,labels=labels,autopct='%.0f%%',explode=explode) # 设置x，y轴刻度一致，这样饼图才能是圆的 plt.axis('equal') plt.show()
可见，全不包含占比78%，包含1或者2位21%，全部都包含占比约等于0
问题三：
主要步骤如下：
(1）根据题目意思，首先判断是聚类问题，选取Keamns算法
（2）对字段进行清洗，去掉单位
（3）建模分析，选取最佳k值
本题选取k=4进行研究分析
（4）可视化展示，饼图等
2）对字段进行清洗，去掉单位
G/AA/E，清洗后都为数值类型，X列需要进行清洗
def work_proc(work_y): """将传入的薪资转化成统一的平均月薪""" if work_y == '暂无工作经验': return 0 elif re.search('年',work_y): s = re.findall('(d+)年',work_y) # s=['8'],转换数据类型 s=int(s[0]) return s new_data['work_years'] = new_data['工作年限'].apply(work_proc)
new_data['work_years']
# 薪资用平均薪资代替 new_data = new_data.rename(columns={'年龄':'age'}) new_data2 = new_data[['work_years','age','mean_salary','skill_class']]
new_data2
3）建模分析，选取最佳k值
引入kmeans算法模型
from sklearn.cluster import KMeans """调用KMeans算法 进行聚类 ，设定为4类""" clf = KMeans(n_clusters=4,random_state=0) """对数据进行拟合，训练模型""" clf.fit(new_data2)
查看一下分类的结果 print(len(clf.labels_)) se = pd.Series(clf.labels_) print(se) se.value_counts()
new_data2['label']=clf.labels_ new_data2.head()
4）可视化展示，饼图等
扇形图：
import matplotlib.pyplot as plt #定义饼状图的标签，标签是列表 labels =[ '0','1','2','3'] #每个标签占多大，会自动去算百分比 x = [818,504,3,105] explode = (0.3,0,0,0) # 绘制饼图 plt.pie(x,labels=labels,autopct='%.0f%%',explode=explode) # 设置x，y轴刻度一致，这样饼图才能是圆的 plt.axis('equal') plt.show()
柱形图
xl_cnt2 = new_data2.groupby('label')['label'].count() xl_cnt2 = xl_cnt2.sort_values() fig = plt.figure(figsize=(12,5)) plt.bar(xl_cnt2.index,xl_cnt2.values) plt.xlabel('匹配分组') plt.xticks(rotation=90) plt.title('匹配数目')
说明：
匹配度0 为818占比57%
匹配度1 为505 占比35%
匹配度2 为3 占比约为0％
匹配度3 为105 占比约为7%