您的位置:首页 > 其它

通过大众点评数据采集为例讲解八爪鱼(必看)

2018-03-27 14:22 751 查看
本文演示无需代码可视化的方法大众点评商家详情页数据的抓取方法。。
在开始之前,可以先参考一下这些文章,希望有帮助:
小白30分钟学会网页爬虫
分享:35个做好的爬虫规则+160篇图文教程汇总

文中用到的可视化爬虫制作工具官网,只作为演示使用,实际应用中可以替换成自己拿手的工具或代码语言即可。
演示网址:https://www.dianping.com/search/category/7/30/g132 
使用功能点:
l 网页列表 循环创建  
l 详情页数据收集  

大众点评商家收集数据说明:本文进行了大众点评-休闲娱乐-咖啡厅商家信息的收集。首页进入深圳咖啡厅商家信息列表页,然后循环 每一条商家信息,进入详情页后收集商家的数据。本文仅以“大众点评-休闲娱乐-咖啡厅商家信息收集”为例,大家在实操过程中,可根据自身需求,更换大众点评的其他内容进行数据收集。 
大众点评收集字段详细说明:店铺名称,评论数量,人均 ,口味评分,环境评分, 评分,店铺所在区域,店铺详细地址。

步骤1:创建收集任务进入主界面选择,选择自定义模式



放大看>>
  
将上面网址的网址复制粘贴到网站输入框中, “保存网址”



放大看>>
 
保存网址后,页面将在收集器中打开,红色方框中的数据就是这次演示需要收集的信息



放大看>>
 

步骤2:创建翻页循环l 找到翻页按钮,设置翻页循环
将页面下拉到底部,找到下一页按钮,鼠标 ,在右侧操作提示框中,选择“循环 下一页”



放大看>>
 
 
步骤3:收集详情页数据 
l 选中需要 的商家名称,创建循环 列表
l 进入详情页创建收集列表
如图,移动鼠标选中列表中商家的名称,右键 ,需收集的内容会变成绿色,然后 “选中全部”



放大看>>
 
注意: 右上角的“流程”按钮,即可展现出可视化流程图。
 
然后 “循环 每个元素”



放大看>>
 
网页会跳转到详情页中,移动鼠标选中详情页商家的名称,右键



放大看>>
 
鼠标右键 每个需要收集的文本字段, “收集以下数据”



放大看>>
 
修改收集字段名称, 下方红色方框中的“保存并开始收集”



放大看>>
 
根据收集的需求选择合适的收集方式,这里选择“启动本地收集”



放大看>>
 
说明:本地收集占用当前电脑资源进行收集,如果存在收集时间要求或当前电脑无法长时间进行收集可以使用云收集功能,云收集在网络中进行收集,无需当前电脑支持,电脑可以关机,可以设置多个云节点分摊任务,10个节点相当于10台电脑分配任务帮你收集,速度降低为原来的十分之一;收集到的数据可以在云上保存三个月,可以随时进行导出操作。

步骤4:数据收集及导出收集完成后,选择合适的导出方式,将收集好的数据导出



放大看>>
 

文中用到的可视化爬虫制作工具(官网),只作为演示使用,实际应用中可以替换成自己拿手的工具或代码语言即可。
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: