拉勾网大数据相关岗位数据爬虫分析

拉勾网大数据相关招聘数据分析

观察对象:大数据相关岗位的招聘数据

观察时间:2016.3.28

数据来源:拉勾网

1、分析目的

眼下,大数据是一个非常热门的话题。受到非常多人的关注和追捧。其创造的相关职业也受到大家的青睐。但大数据相关职业到底是什么样。有怎么样的要求,有如何的待遇还不为多数人所知,为了更好的了解大数据相关职业要求及其福利待遇进行本次数据分析。

2、数据採集

1 数据来源:拉勾网,拉勾网是专业的互联网招聘平台,专注互联网职业机会,其数据具有代表性;

2 数据类型:json类型数据。

3 採集方法:python爬虫,输入的keyword为‘大数据’。所以採集的数据包含全部大数据相关的岗位数据。

4 数据量:一共採集到99页共条1476数据。

3、数据准备

本次採集的数据共1476条。每一条数据有个50变量。为了关注主要因素,在数据准备过程中将去除不必要的变量,因为数据量较多,对少数的存在缺失值的行也进行清除,又一次构造易于分析和作图的数据集。

4、数据分析

1. 大数据相关职业招聘信息在全国各城市分布情况的分析


    由各城市大数据招聘信息数量的分布可知。眼下大数据相关职业的招聘主要集中在北京、上海、广州、杭州、深圳这几个经济相对更发达的地区。尤其是首都北京,是这几个城市的3倍之多。出现这样的现象也不足为怪。毕竟大数据还是一个新型的产业,非常多二三线城市的传统企业和公司还处在观望之中。对于北京数量之多,个人觉得主要与国家政策、创业潮有关,毕竟是首都,能高速嗅觉到国家大力支持发展大数据的苗头。同一时候‘互联网+’的创业大潮也推进了各公司对大数据人才的渴求。

2. 大数据相关职业类型分析


    由大数据相关职业工作类型的分布可知。大数据技术人才最受欢迎,其次是产品和运营。有人说大数据科学家是会编程的统计学家。从该图能够看出这个‘编程的能力’以及处理、挖掘数据的能力还是占领重要因子的。而对于产品和运营。可能与近期讨论得非常火的‘人物画像’‘精细化运营’等有关,运用大数据的相关知识实现精准营销。当然。大数据在金融、市场销售等方面也逐渐受到重视,个人觉得这是一个趋势。毕竟大数据仅仅是一种手段。更重要的是怎样把大数据运用的各个行业。为行业服务。

3. 大数据相关职业招聘对技能要求的分析

上面讨论到大数据技术人才最受欢迎,再继续看看大数据到底对那种技能或那种语言和工具比較青睐。


由气泡分布图(圆圈越大。表示其重要程度越高)可知最受青睐的前10个大数据工具是Hadoop、Java、Spark、Hbase、Hive、Python、Linux、Strom、Shell编程、MySQL。

当中Hadoop和Spark都是分布式并行计算框架,眼下看来Hadoop占主导优势,Spark位居其后。但Spark有迎头赶上的趋势。Hadoop是由Java实现的,所以java排在其后也不奇怪。Hbase是一个开源的分布式的列式数据库,MySQL是一种开源的关系型数据库,Hive是一种数据仓库,Strom是一种流式处理框架。而Python/Shell是两种脚本编程语言,Linux是一个操作系统。

上面这个图假设看起来比較费劲,我们来看看以下这个图:


4. 大数据相关职业招聘对学历要求的分析


由上图可知大数据相关职业对学历的要求主要是本科以上,其次是大专,而对于学历高的硕士和博士貌似不太感冒。因为大数据主要对技术人才感兴趣,工作的实践性比較高。可能学历高的人才反而占不到优势。我们能够接着对照一下对工作经验的要求再做深入的分析。

5. 大数据相关职业招聘对工作经验的分析


由上图可知,大数据相关职业对有3-5年工作经验的人才最青睐,其次是1-3年和5-10年。对照上面对学历的要求可知。大数据相关职业确实是青睐有工作经验的本科生,而不是学历高但经验缺乏的硕士生和博士生。

6. 大数据相关职业的薪资分析


由图可知,大数据相关职业整体工资水平还是有较大的波动。但也主要集中在10k-30k的范围内。

我们看看不同工作类型的工资的分布情况:

由图可知金融行业相关的大数据职位的平均工资最高,当中产品、技术以及职能的平均工资相差不大。市场与销售、运营的工资相对较低,但平均工资也在10K以上。

总的来说,大数据相关职业的薪资水平随工作经历等存在一定的波动,但工资来说还是相对较高的。

7. 大数据相关职业的福利待遇分析


从有大数据人才招聘需求的公司提供的福利来看,当中最多的就是五险一金的基本保障、其次是带薪休假、弹性工作、双休、年终奖、绩效奖等。总的来说这些公司福利还算不错。但从这些数据里能够看出,相比于一些大的国企。这些公司对于解决户口等同学们关注得比較多的。没有提及。

8. 有大数据人才招聘需求的公司融资情况分析


从上图可知。有大数据人才招聘需求的公司中上市公司还是占领最大的比例,排在前面的几位也都是成长型或成熟型的融过资的公司。排在后面几位的公司除了一个成熟型D轮以上。其他要么没有融资,要么不须要融资,这里能够说明上市公司或刚拿到融资的成长型公司对于大数据人才的渴求更高。

5、结论

从面的分析,大致能够得出以下几个重要的结论:

a. 大数据还仅仅是北上广等经济发达城市发展得非常热的新型行业,二三线城市还有待发展,所以要找大数据相关的工作就去北上广吧。

b. 大数据相关工作岗位主要以技术、产品、运营为主,并且技术占领大半江山,而技术技能要求中主要以Hadoop/java/Spark/Hbase/Hive/Python/MySQL/Strom/shell等为主。所以才要从事大数据相关岗位不防从学习这些技能開始。

c. 大数据相关职业对学历的要求主要以本科为主,就算是大专学历也是非常受欢迎的,而博士和硕士却不受青睐,这是一个要求工作经验为住的行业,所以就算你学历不高。想从事大数据相关工作也是不成问题的;

d. 大数据相关工作岗位的薪资还是算比較高的,福利待遇方面也还不错,当中金融大数据人才的工资最高。

眼下招聘大数据人才的公司主要是以上市公司和成长型的融资公司为主。

6、有问题交流的能够关注Dataanswer大数据 http://www.dataanswer.top




【推广】 免费学中医,健康全家人
原文地址:https://www.cnblogs.com/llguanli/p/8450047.html