您的位置:首页 > 数据库 > MySQL

scrapy实现爬取全书网小说到Mysql数据库(附代码)

2018-03-03 22:39 260 查看

前言

本篇文章实现python的scrapy框架爬取全书网小说,scrapy框架的安装我在这里就不在赘述了,建议window用户使用anaconda安装,这里比较省心一些。运行环境python3(实际python2运行页没有太大问题)

一,项目的创建

在想要创建项目的目录内,打开cmd命令行,输出代码scrapy startproject Fiction然后进入项目内cd Fiction创建一个爬虫项目scrapy genspider novel quanshuwang.com
完成后其项目目录是这样的


二,具体代码部分

代码我已经上传到了github仓库,地址:github(如果觉得不错,可以给一个star,谢谢)

三,具体完成后的数据库





四,总结

项目十分简单,适合scrapy的新手练习。
email:yao_guangju@163.com
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息