java开发-技能要求-分词频度统计

描述:

一哥们离职找工作,最近聊了聊面试待遇要求一类的事情,有些感触。

在一个公司呆的时间长了,对市场上对开发的要求已经不那么敏感了,也不知道人家要求哪些技能。一个公司的业务是有限的,呆了2年,3年,4年之后,知识面可能就狭隘了;

4、5年的程序员市场上平均待遇是多少也不清楚,问问好朋友聊聊也只知道几家的标准,对于大多数人,工资是安身立命之本,不可不察。

想到自己本身就是最数据采集与分析的,就蹦出来个想法:采集点招聘信息样本,做下简单的统计,也许会有所收获。。

正好最近也不是很忙,经过一番折腾,有了下面的结果:

图表:

 工资与招聘信息个数高级                                                      JAVA程序员岗位职责关键字饼图

相关数据:

序号         工资区间               招聘信息数量 采样总数量 百分比               序号         关键字       出现次数

    

采集使用工具:

htmlparser 数据抓取

lucene analyzer IKAnalyzer 分词

Excel 图表生成 

结尾:

要数据分析,数据量一定要大,我这里只是简单的采集了800条智联的(高级java程序员)数据;正规点应该把猎聘网 智联 51job  58同城上的招聘所有的信息都爬下来,数据量先上来,这样才有些价值。

区区800条数据,其实没什么太大的参考意义,玩玩而已,但是起码能简单分析下 工资大概是多少 都要求什么技能,哪个区域招聘的比较多。

原文地址:https://www.cnblogs.com/duankaige/p/4095522.html