您的位置:首页 > 其它

51 Job招聘数据分析与可视化

2017-08-31 09:33 323 查看

招聘数据分析与可视化

背景

为了分析现有数据行业的招聘情况,抓取2017年3月14日到2017年5月13日发布在51Job上的数据相关招聘职位116273条信息,并从中筛选出职位是数据分析、数据挖掘、文本挖掘、视觉学习、计算广告、数据开发、数据架构师等的数据岗位招聘信息10134条。

从地域分布、企业情况、岗位需求、薪酬等维度去量化分析数据岗位的招聘现状。发现不同薪酬分层下的岗位数量基本与城市发展趋势、行业汇聚、人才聚集呈现正比。

地域分布上,大数据的发展,当前最活跃于发达的一线城市以及沿海地区,但是二线城市中杭州、南京、成都、武汉也是可以选择的。

企业情况上,行业主要集中在电子商务、金融、IT软件等轻资产企业,同时,零售、电信也具有一定需求;企业属性主要是民企、合资企业和上市公司三大类,民营企业占据半边天;企业规模上,数据岗位只有在一定规模的企业,才能凸显重要性,50~500人之间的企业成为主要的岗位提供者。

选择企业行业、企业性质、企业规模、工作地域、学历、技能(r,sas、python、hadoop、spark、excel、java、sql、hive、hbase),其中技能做二值化处理进行模型构建。使用SAS EM进行建模,利用树代替对数值和属性变量进行补缺,最优转换进行变量转换,比较Logistc回归、神经网络、随机森林、梯度Boosting和决策树。

数据抽取

爬虫获取





结构化存储



可视化

代码地质:https://data2miner.shinyapps.io/data_job_analysis/



地域分布





技能VS薪酬



文本分析



模型构建

内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息