数据读取
理解数据
数据清洗
数据分析
1、数据读取
#导入相关模块
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import re#正则解析
from wordcloud import WordCloud
import warnings
warnings.filterwarnings('ignore')
#连接mysql
import pymysql
pymysql.install_as_MySQLdb()
from sqlalchemy import create_engine
engine=create_engine('mysql://user:password@localhost:3306/frogdata?charset=gbk')
#读取数据
df=pd.read_sql_query('select * from Boss_analyst',con=engine)2、理解数据
字段解释
-
position - 职位
-
salary_range - 薪水区间
-
work_year - 工作经验
-
city - 城市
-
tag1 - 技能标签1
-
tag2 - 技能标签2
-
tag3 - 技能标签3
-
tag4 - 技能标签4
-
tag5 - 技能标签5
-
company_name - 公司名称
-
text - 未知
-
company_type - 公司类型
-
company_welfare -公司福利
3、数据清洗
对表中的position、salary_range、work_year、city、text、company_welfare字段数据进行清洗
#观察数据的整体情况
df.info()总共有4482条数据。tag4、tag5、company_walfare列的有存在空缺数据，但空缺不多，而且这三个指标不是关键性指标，所以暂不做处理
#考虑到爬取的数据可能存在重复数据，此处做去重处理
df.drop_duplicates(inplace=True)
df.shape[0]4435 存在47条重复数据
position 字段清洗
#观察position字段
df.position.unique()发现存在异常数据，这里需要对不相关的职位进行去除
df=df.loc[df.position.str.contains('数据|分析|Data|算法|Bi|ETL')]
df.shape[0]3423
考虑数据类的岗位有数据运营、数据挖掘、商业分析师、算法工程师、ETL工程师等
salary_range字段清洗
#观察salary_range字段
df['salary_range'].unique()数据很不规整，初步判断存在以下三种格式：'15-25K·13薪'、'15-25K'、100-150元/天 ，打算把这一列的数据拆解分为两列-最低薪水、最高薪水
def cut_word(word,types):
#把数据规整为'xx-xx'格式
position1=word.find('K')
position2=word.find('元')
#如果没有找到该元素，find会返回值-1
if position1 != -1:
salary_range=word[:position1]
elif position2 != -1:
salary_range=word[:position2]
#拆分数据-最低薪水、最高薪水
position3= salary_range.find('-')
bottom_salary= salary_range[:position3]
top_salary= salary_range[position3+1:]
#传入types参数，接收最低薪水、最高薪水的数据
if types == 'bottom':
return bottom_salary
else:
return top_salary
#利用apply函数进行数据转化
df['bottom_salary']=df['salary_range'].apply(cut_word,types='bottom').astype('int')
df['top_salary']=df['salary_range'].apply(cut_word,types='top').astype('int')#新增平均薪水列，方面后面做统计分析
df['avg_salary']=df.apply(lambda x : (x.bottom_salary+x.top_salary)/2,axis=1)work_year字段清洗work_year字段中学历数据和工作年限数据混杂在了一起，需要将其分列
学历有7种数据格式：学历不限、中专/中技、高中、大专、本科、硕士、博士
工作经验有三种数据格式：x-x年、x天/周x个月、经验不限。
def cut_word1(word,types):
#找到学历不限的学字，进行切片处理
position1=word.find('学')
#找到学历不限的大字，进行切片处理
position2=word.find('大')
position3=word.find('本')
position4=word.find('硕')
position5=word.find('博')
position6=word.find('高')
position7=word.find('中')
#通过切片把数据规整为学历和工作经验两列数据
if position1 != -1:
work_year=word[:position1]
educational_background=word[position1:]
elif position2 != -1:
work_year=word[:position2]
educational_background=word[position2:]
elif position3 != -1:
work_year=word[:position3]
educational_background=word[position3:]
elif position4 != -1:
work_year=word[:position4]
educational_background=word[position4:]
elif position5 != -1:
work_year=word[:position5]
educational_background=word[position5:]
elif position6 != -1:
work_year=word[:position6]
educational_background=word[position6:]
else:
work_year=word[:position5-4]
educational_background=word[position5-4:]
#传入types参数，接收学历和工作年限的数据
if types == 'education_background':
return educational_background
else:
return work_year
#利用apply函数进行数据转化，将学历数据新添加到'education_background'列，工作经验数据新添加到'work_year'列
df['education_background']=df['work_year'].apply(cut_word1,types='education_background')
df['work_year']=df['work_year'].apply(cut_word1,types='work_year')work_year字段已清洗完毕，转化为work_year和education_background两列数据
#work_year中存在2天/周3个月之类的数据，判断是实习/兼职职位，这边把全职和实习的岗位数据区分开来
df_part_time=df.loc[df.work_year.str.contains('天|周|月')]
#全职岗位
df_full_time=df.loc[~df.work_year.str.contains('天|周|月')]city字段清洗
#观察city数据
df_full_time['city'].unique()有些值只显示城市名称，有些细分到了区，这边把数据维度统一规整到城市名称
#通过apply函数和if逻辑判断，把带有·点的数据的城市地区维度进行切片截取
df_full_time['city']=df_full_time['city'].apply(lambda x :x[:x.find('·')] if x.find('·') != -1 else x)text字段清洗
#观察text字段
df_full_time.text.unique()text字段包含了公司融资情况、公司类型、公司规模数据，需将其转化分列，其中公司类型已存在(company_type)
只需转化为公司融资情况和公司规模两列
清洗结果
4、数据分析
整体思路
-
数据类岗位整体需求
-
城市、学历、工作经验对薪水的影响
-
不同岗位对应的学历要求、薪水分布情况
-
公司一般会用什么福利待遇来吸引求职者
-
不同岗位要求的关键技能点是什么
1、数据类岗位整体需求
plt.figure(figsize=(16,6))
plt.rcParams['font.sans-serif']=['SimHei'] #用来正常显示中文标签
plt.rcParams['axes.unicode_minus']=False #用来正常显示负号
#学历
plt.subplot(2,3,1)
df_full_time.education_background.value_counts().plot(kind='barh',alpha=0.7)
#工作经验
plt.subplot(2,3,2)
df_full_time.work_year.value_counts().plot(kind='barh',alpha=0.7)
#岗位分布
plt.subplot(2,3,3)
df_full_time.city.value_counts().plot(kind='pie',autopct='%.1f%%')
#公司融资情况
plt.subplot(2,3,4)
df_full_time.company_financing .value_counts().plot(kind='barh',alpha=0.7)
#公司类别
plt.subplot(2,3,5)
df_full_time.company_type.value_counts().head(6).plot(kind='barh',alpha=0.7)
#薪水
plt.subplot(2,3,6)
#对薪水划分层次，如18K属于15-10
bins=[0,3,5,10,15,20,30,105]
level=['0-3','3-5','5-10','10-15','15-20','20-30','30+']
df_full_time['avg_salary_level']=pd.cut(df_full_time.avg_salary,bins=bins,labels=level)
df_full_time.avg_salary_level.value_counts().head(6).plot(kind='pie',autopct='%.1f%%')
#调整子图的间距
plt.tight_layout()要求
分析：
学历要求：大专是最低要求，招高中或中专/中技的极少，最好是本科及以上
工作经验需求：偏向招聘有一定经验的求职者，尤其3-5年经验的需求最旺盛。一般工作3年以上，对于整个职业的了解会比较深入，技术趋于成熟，能够帮助做一些独立的项目
岗位分布情况：北上广深杭对其需求都差不多，相对来说北京机会最多，广州偏少
公司融资情况：招聘数据类岗位的一般都是达到了一定规模的大型企业
行业分布情况：互联网行业需求是最多的，包括电商、金融。还有一些乙方公司也有一定需求，比如数据服务类、咨询类
薪资情况：受工作经验影响较大，3年工作经验薪资一般集中在20-30K，比较可观
省略234
5、不同岗位要求的关键技能点是什么
#数据运营职位相关技能
list_tag1=df_full_time[df_full_time['position']=='数据运营']['tag1'].tolist()
list_tag2=df_full_time[df_full_time['position']=='数据运营']['tag2'].tolist()
list_tag3=df_full_time[df_full_time['position']=='数据运营']['tag3'].tolist()
list_tag4=df_full_time[df_full_time['position']=='数据运营']['tag4'].tolist()
list_tag5=df_full_time[df_full_time['position']=='数据运营']['tag5'].tolist()
wordcloud_1=pd.Series(list_tag1+list_tag2+list_tag3+list_tag4+list_tag5).value_counts()#数据分析职位相关技能#数据挖掘职位相关技能
岗位要求
分析：
数据运营类岗位要求：基本的数据分析工具要掌握，熟悉sql,理解业务和产品，会数据挖掘和建模更好
数据分析类岗位要求：熟悉SQL、 R/Python、hive,掌握基本的数据仓库、数据挖掘、建模的知识，具备一定的业务经验
数据挖掘类岗位要求：熟悉Python/R、Spark、Linux、Hadoop、SQL，掌握机器学习算法、数据结构等
关注公众号：Python爬虫数据分析挖掘，免费获取更多开源项目源码