通过大众点评数据采集为例讲解八爪鱼(必看)
2018-03-27 14:22
751 查看
本文演示无需代码可视化的方法大众点评商家详情页数据的抓取方法。。
在开始之前,可以先参考一下这些文章,希望有帮助:
小白30分钟学会网页爬虫
分享:35个做好的爬虫规则+160篇图文教程汇总
文中用到的可视化爬虫制作工具官网,只作为演示使用,实际应用中可以替换成自己拿手的工具或代码语言即可。
演示网址:https://www.dianping.com/search/category/7/30/g132
使用功能点:
l 网页列表 循环创建
l 详情页数据收集
大众点评商家收集数据说明:本文进行了大众点评-休闲娱乐-咖啡厅商家信息的收集。首页进入深圳咖啡厅商家信息列表页,然后循环 每一条商家信息,进入详情页后收集商家的数据。本文仅以“大众点评-休闲娱乐-咖啡厅商家信息收集”为例,大家在实操过程中,可根据自身需求,更换大众点评的其他内容进行数据收集。
大众点评收集字段详细说明:店铺名称,评论数量,人均 ,口味评分,环境评分, 评分,店铺所在区域,店铺详细地址。
步骤1:创建收集任务进入主界面选择,选择自定义模式
放大看>>
将上面网址的网址复制粘贴到网站输入框中, “保存网址”
放大看>>
保存网址后,页面将在收集器中打开,红色方框中的数据就是这次演示需要收集的信息
放大看>>
步骤2:创建翻页循环l 找到翻页按钮,设置翻页循环
将页面下拉到底部,找到下一页按钮,鼠标 ,在右侧操作提示框中,选择“循环 下一页”
放大看>>
步骤3:收集详情页数据
l 选中需要 的商家名称,创建循环 列表
l 进入详情页创建收集列表
如图,移动鼠标选中列表中商家的名称,右键 ,需收集的内容会变成绿色,然后 “选中全部”
放大看>>
注意: 右上角的“流程”按钮,即可展现出可视化流程图。
然后 “循环 每个元素”
放大看>>
网页会跳转到详情页中,移动鼠标选中详情页商家的名称,右键
放大看>>
鼠标右键 每个需要收集的文本字段, “收集以下数据”
放大看>>
修改收集字段名称, 下方红色方框中的“保存并开始收集”
放大看>>
根据收集的需求选择合适的收集方式,这里选择“启动本地收集”
放大看>>
说明:本地收集占用当前电脑资源进行收集,如果存在收集时间要求或当前电脑无法长时间进行收集可以使用云收集功能,云收集在网络中进行收集,无需当前电脑支持,电脑可以关机,可以设置多个云节点分摊任务,10个节点相当于10台电脑分配任务帮你收集,速度降低为原来的十分之一;收集到的数据可以在云上保存三个月,可以随时进行导出操作。
步骤4:数据收集及导出收集完成后,选择合适的导出方式,将收集好的数据导出
放大看>>
文中用到的可视化爬虫制作工具(官网),只作为演示使用,实际应用中可以替换成自己拿手的工具或代码语言即可。
在开始之前,可以先参考一下这些文章,希望有帮助:
小白30分钟学会网页爬虫
分享:35个做好的爬虫规则+160篇图文教程汇总
文中用到的可视化爬虫制作工具官网,只作为演示使用,实际应用中可以替换成自己拿手的工具或代码语言即可。
演示网址:https://www.dianping.com/search/category/7/30/g132
使用功能点:
l 网页列表 循环创建
l 详情页数据收集
大众点评商家收集数据说明:本文进行了大众点评-休闲娱乐-咖啡厅商家信息的收集。首页进入深圳咖啡厅商家信息列表页,然后循环 每一条商家信息,进入详情页后收集商家的数据。本文仅以“大众点评-休闲娱乐-咖啡厅商家信息收集”为例,大家在实操过程中,可根据自身需求,更换大众点评的其他内容进行数据收集。
大众点评收集字段详细说明:店铺名称,评论数量,人均 ,口味评分,环境评分, 评分,店铺所在区域,店铺详细地址。
步骤1:创建收集任务进入主界面选择,选择自定义模式
放大看>>
将上面网址的网址复制粘贴到网站输入框中, “保存网址”
放大看>>
保存网址后,页面将在收集器中打开,红色方框中的数据就是这次演示需要收集的信息
放大看>>
步骤2:创建翻页循环l 找到翻页按钮,设置翻页循环
将页面下拉到底部,找到下一页按钮,鼠标 ,在右侧操作提示框中,选择“循环 下一页”
放大看>>
步骤3:收集详情页数据
l 选中需要 的商家名称,创建循环 列表
l 进入详情页创建收集列表
如图,移动鼠标选中列表中商家的名称,右键 ,需收集的内容会变成绿色,然后 “选中全部”
放大看>>
注意: 右上角的“流程”按钮,即可展现出可视化流程图。
然后 “循环 每个元素”
放大看>>
网页会跳转到详情页中,移动鼠标选中详情页商家的名称,右键
放大看>>
鼠标右键 每个需要收集的文本字段, “收集以下数据”
放大看>>
修改收集字段名称, 下方红色方框中的“保存并开始收集”
放大看>>
根据收集的需求选择合适的收集方式,这里选择“启动本地收集”
放大看>>
说明:本地收集占用当前电脑资源进行收集,如果存在收集时间要求或当前电脑无法长时间进行收集可以使用云收集功能,云收集在网络中进行收集,无需当前电脑支持,电脑可以关机,可以设置多个云节点分摊任务,10个节点相当于10台电脑分配任务帮你收集,速度降低为原来的十分之一;收集到的数据可以在云上保存三个月,可以随时进行导出操作。
步骤4:数据收集及导出收集完成后,选择合适的导出方式,将收集好的数据导出
放大看>>
文中用到的可视化爬虫制作工具(官网),只作为演示使用,实际应用中可以替换成自己拿手的工具或代码语言即可。
相关文章推荐
- 通过安居客全部楼盘信息采集为例讲解八爪鱼(必看)
- 通过京东商品信息采集为例讲解八爪鱼(必看)
- 通过DMVS采集并存储SQL Server性能计数器数据
- 通过摄像头设备采集一帧数据的例子程序(完整版)
- flume通过tcp/udp采集数据并存到kafka配置及操作方式
- 八爪鱼数据采集
- Hadoop经典案例Spark实现(一)——通过采集的气象数据分析每年的最高温度
- SODBASE应用示例:通过Restful接口采集数据
- 【Android】Android Camera实时数据采集及通过MediaCodec硬编码编码数据的流程
- 51采集PCF8591数据通过ESP8266上传C#上位机
- 仪表数据通过RS485连接电脑采集数据
- STM32通过SPI采集DT50 ADS8320数据
- Spark经典案例1-通过采集的气象数据分析每年的最高温度
- 51采集PCF8591数据通过ESP8266上传C#上位机
- Stm32-实时采集数据(温度与一氧化碳)并且通过wifi模块(Esp8266)实时传输到电脑
- Hadoop经典案例Spark实现(一)——通过采集的气象数据分析每年的最高温度
- 迅为4412通过串口接收TR600语音编解码器采集的数据
- 通过抓取淘宝评论为例讲解Python爬取ajax动态生成的数据
- 【Android】Android Camera实时数据采集及通过MediaCodec硬编码编码数据的流程
- 如何不写代码通过爬虫软件采集表格数据