51 Job招聘数据分析与可视化
2017-08-31 09:33
323 查看
招聘数据分析与可视化
背景
为了分析现有数据行业的招聘情况,抓取2017年3月14日到2017年5月13日发布在51Job上的数据相关招聘职位116273条信息,并从中筛选出职位是数据分析、数据挖掘、文本挖掘、视觉学习、计算广告、数据开发、数据架构师等的数据岗位招聘信息10134条。从地域分布、企业情况、岗位需求、薪酬等维度去量化分析数据岗位的招聘现状。发现不同薪酬分层下的岗位数量基本与城市发展趋势、行业汇聚、人才聚集呈现正比。
地域分布上,大数据的发展,当前最活跃于发达的一线城市以及沿海地区,但是二线城市中杭州、南京、成都、武汉也是可以选择的。
企业情况上,行业主要集中在电子商务、金融、IT软件等轻资产企业,同时,零售、电信也具有一定需求;企业属性主要是民企、合资企业和上市公司三大类,民营企业占据半边天;企业规模上,数据岗位只有在一定规模的企业,才能凸显重要性,50~500人之间的企业成为主要的岗位提供者。
选择企业行业、企业性质、企业规模、工作地域、学历、技能(r,sas、python、hadoop、spark、excel、java、sql、hive、hbase),其中技能做二值化处理进行模型构建。使用SAS EM进行建模,利用树代替对数值和属性变量进行补缺,最优转换进行变量转换,比较Logistc回归、神经网络、随机森林、梯度Boosting和决策树。
数据抽取
爬虫获取
结构化存储
可视化
代码地质:https://data2miner.shinyapps.io/data_job_analysis/地域分布
技能VS薪酬
文本分析
模型构建
相关文章推荐
- 天池体验(二)——新人离线赛数据可视化分析
- 55 个实用的大数据可视化分析工具
- 【每周一本书】之《Microsoft Power BI 数据可视化与数据分析》
- 浅谈 BI 与数据分析的可视化
- 对拉勾网招聘信息做一次数据分析(上)--40行代码拿下所有数据
- 读书笔记-数据科学实战-Capt2_汽车数据可视化分析
- 22个免费的数据可视化和分析工具推荐
- 通过可视化数据分析提升测试质量
- 22个免费的数据可视化和分析工具推荐
- 利用python进行数据分析-绘图和可视化1
- 用python理解数据---房价预测数据可视化分析kernel读后感
- 天池体验(二)——新人离线赛数据可视化分析
- Kibana:数据分析的可视化利器
- python 抓取数据,pandas进行数据分析并可视化展示
- MATLAB 数据分析二: 样本数据可视化--条形图、直方图、二/三维散点图
- 数据之美,可视化日志分析工具--logstalgia
- 一个疑似高德数据分析的招聘要求
- python数据分析(数据可视化)
- 使用Spark分析拉勾网招聘信息(二): 获取数据
- 前端:可视化数据分析探索之Canvas与SVG