百行代码，python爬取小姐姐网100G套图，别流鼻血，身体重要！

前言

最近在做监控相关的配套设施，发现很多脚本都是基于Python的。很早之前就听说其大名，人生苦短，我学Python，这并非一句戏言。随着人工智能、机器学习、深度学习的崛起，目前市面上大部分的人工智能的代码 大多使用Python 来编写。所以人工智能时代，是时候学点Python了。

基本环境配置

• Python3
• PyCharm

实现步骤

以妹子图为例，其实很简单，分以下四步：

• 获取首页的页码数，并创建与页码对应的文件夹
• 获取页面的栏目地址
• 进入栏目，获取栏目页码数(每个栏目下有多张图片，分页显示)
• 获取到栏目下对用标签中的图片并下载

注意事项

爬取过程中，还需要注意以下几点，可能对你有所帮助：

1）导库，其实就类似于Java中框架或者是工具类，底层都被封装好了

2）定义方法函数，一个爬虫可能会几百行，所以尽量不要写成一坨

3）定义全局变量

4）防盗链

5）切换版本

6）异常捕获

代码实现（完整源码关注获取地址）进群：960410445  即可获取书十套PDF！

下面，请小伙伴们睁大眼睛，鸡冻人心的套图时刻来了。

总结

其实脚本很简单，从配置环境、安装集成开发环境、编写脚本到整个脚本顺利执行，差不多花费了四五个小时，最终脚本一根筋的执行。限于服务器带宽以及配置的影响，17G的图差不多下载了三四个小时，至于剩下的83G，小伙伴们自行下载吧。