通过京东商品信息采集为例讲解八爪鱼（必看）

本文演示使用八爪鱼抓取京东商品数据的方法（以京东图书类商品页为例）。。

在开始之前，可以先参考一下这些文章，希望有帮助：
小白30分钟学会网页爬虫
网页爬虫真实案例记录

文中用到的爬虫工具（八爪鱼），只作为演示使用，实际应用中可以替换成自己拿手的工具或代码语言即可。

演示网址：https://list.jd.com/list.html?cat=1713,3258,3304

数据说明：本文抓取京东-图书分类-文学综合馆-悬疑类别下的图书商品信息。在打开要抓取的URL后，我们没有点击商品链接，进入商品详情页，而直接以商品区块建立列表循环，抓取每个商品信息。

具体字段：价格、书名、评价数量、所属店铺。

使用功能点：

· 分页列表内容提取

步骤1：创建抓取任务进入主界面选择，选择自定义模式



清晰原图>>

将上面网址的网址复制粘贴到网站输入框中，点击“保存网址”



清晰原图>>

保存网址后，页面将在抓取器中打开，红色方框中的图书数据是这次演示抓取的信息



清晰原图>>

步骤2：创建翻页循环

找到翻页按钮，设置翻页循环

将页面下拉到底部，找到下一页按钮，鼠标点击，在右侧操作提示框中，选择“循环点击下一页”



清晰原图>>

步骤3：图书信息抓取

· 选中需要抓取的字段信息，创建抓取列表

· 编辑抓取字段名称

如图，移动鼠标选中列表中图书的名称，右键点击，需抓取的内容会变成绿色



清晰原图>>

注意：点击右上角的“流程”按钮，即可展现出可视化流程图。

移动鼠标，逐一选中第一个商品内所需要的字段，然后点击智能辅助框里面的「选中全部」按钮，列表中所有适配内容会变成绿色；此外，你还可以将不需要的字段删除.



清晰原图>>

注意： 鼠标放在该字段上会出现一个删除标识，点击即可删除该字段。



清晰原图>>

点击“抓取以下数据”



清晰原图>>

修改抓取字段名称



清晰原图>>

点击下方红色方框中的“保存并开始抓取”



清晰原图>>

根据抓取的情况选择合适的抓取方式，这里选择“启动本地抓取”



清晰原图>>

说明：本地抓取占用当前电脑资源进行抓取，如果存在抓取时间要求或当前电脑无法长时间进行抓取可以使用云抓取功能，云抓取在网络中进行抓取，无需当前电脑支持，电脑可以关机，可以设置多个云节点分摊任务，10个节点相当于10台电脑分配任务帮你抓取，速度降低为原来的十分之一；抓取到的数据可以在云上保存三个月，可以随时进行导出操作。

步骤4：数据抓取及导出

抓取完成后，会跳出提示，选择“导出数据”



清晰原图>>

选择合适的导出方式，将抓取好的数据导出



清晰原图>>

移动鼠标，逐一选中第一个商品内所需要的字段，然后点击智能辅助框里面的「选中全部」按钮，列表中所有适配内容会变成绿色；此外，你还可以将不需要的字段删除，然后点击“选中全部”