python学习 三 03 再爬一个网站，根据分页，下载图片

python学习 三 03 再爬一个网站，根据分页，下载图片

Python安装

python学习
一 python语法，及变量类型

python学习
二 爬一个图片网站上

python学习
二 02 爬一个图片网站，获得主链接网址，并保存

python学习
二 03 爬一个图片网站-获得所有分页网址

python学习
二 04 爬一个图片网站-解析文件，获得所有图片链接

python学习
二 05 爬一个图片网站-下载图片链接

python学习
二 06 爬一个图片网站-多线程方式下载

python学习
三 01 再爬一个网站，几行代码，搞定分类类别

python学习
三 02 再爬一个网站，获得所有分页

根据所有分页文件，下载图片

书接上回，我们已经递归创建了类别，获得了所有分页信息，下一步就是根据分页信息获得所有的图片。

为此，我们再看看网页，红线部分的图片，就是我们要抓取的图片。

看下对应的源码：

也就是说，我们要获取这个div下的所有IMG标签



为此写了个获得指定DIV下所有IMG标签的函数

分两步，第一步，找到分页文件



第二步，解析分页文件，并下载img



这其中又涉及到了解析，解析部分我想单独放在一个文件中，这个文件就是作为封装各种解析来用的。



最后就是多线程方式下载，



下载我也单独放到一个文件中了，这个文件打算主要做下载用



总结： 下载网站中的图片，分成三个步骤：

1、 根据网站类别，创建本地类别

2、 获得所有分页

3、 根据分页，下载图片

至此，爬图片过程，就告一阶段，下节主要介绍下，这一阶段所用的知识及逻辑组织方式