使用django+mysql+scrapy制作的一个小说网站
2015-01-12 12:57
260 查看
小说网站用的程序都是千篇一律的,jieqi + guanguang,无聊时间学习python+django,也做了一个小说网站,下面说一说做这个网站一些过程,
制作这种采集站,最要紧的是要有一个好的采集器,在python的世界里面,爬取网页真是小菜一碟,urllib urllib2 requests 都是神器,不过为了追求程序的稳定性和易用性,我采用了scrapy这个第三方采集库
在windows下安装这个采集库有点麻烦,给大家推荐一个网站 http://www.lfd.uci.edu/~gohlke/pythonlibs/ 这里面有lxml 等在win品台上不好安装的库
采集小说无非就 小说名,作者,分类,介绍,还有各个章节的内容,这个使用scrapy非常容易实现,为了使热门的小说能够更快的采集和更新,我分别做了2个爬虫,一个爬虫从采集站的列表页采集小说,一个爬虫专门用于指定的单本小说的采集,这样,后台设置的热门的主推小说能够在第一时间里采集到,两个爬虫都是每隔3分钟就循环采集一次,使用supervisor保证爬虫24h在线。
采集内容的过滤,依靠的是xpath和re相互扶助配合,过滤掉采集站的url,和一些与采集站有关的内容,保证采集到的内容是干净的,
django这方面我觉得就没有什么多说的了,应为一个小说站的逻辑是非常简单的
在部署方面使用的是supervisor gunicorn nginx 配合起来还是很快的
还有使用了fabric 进行远程部署,因为小说站基本上都是国外的vps,ssh连接是很慢的
易读中文网 这就是小站,
最悲剧的是买域名的时候没有注意到,这个域名原来是干菠菜的,亏死我了,不知道会不会有收录,哎慢慢等吧!
制作这种采集站,最要紧的是要有一个好的采集器,在python的世界里面,爬取网页真是小菜一碟,urllib urllib2 requests 都是神器,不过为了追求程序的稳定性和易用性,我采用了scrapy这个第三方采集库
在windows下安装这个采集库有点麻烦,给大家推荐一个网站 http://www.lfd.uci.edu/~gohlke/pythonlibs/ 这里面有lxml 等在win品台上不好安装的库
采集小说无非就 小说名,作者,分类,介绍,还有各个章节的内容,这个使用scrapy非常容易实现,为了使热门的小说能够更快的采集和更新,我分别做了2个爬虫,一个爬虫从采集站的列表页采集小说,一个爬虫专门用于指定的单本小说的采集,这样,后台设置的热门的主推小说能够在第一时间里采集到,两个爬虫都是每隔3分钟就循环采集一次,使用supervisor保证爬虫24h在线。
采集内容的过滤,依靠的是xpath和re相互扶助配合,过滤掉采集站的url,和一些与采集站有关的内容,保证采集到的内容是干净的,
django这方面我觉得就没有什么多说的了,应为一个小说站的逻辑是非常简单的
在部署方面使用的是supervisor gunicorn nginx 配合起来还是很快的
还有使用了fabric 进行远程部署,因为小说站基本上都是国外的vps,ssh连接是很慢的
易读中文网 这就是小站,
最悲剧的是买域名的时候没有注意到,这个域名原来是干菠菜的,亏死我了,不知道会不会有收录,哎慢慢等吧!
相关文章推荐
- 使用Scrapy爬取顶点小说整个网站的小说,入库Mysql!
- 在 Windows Azure 网站上使用 Django、Python 和 MySQL:创建博客应用程序
- 使用scrapy制作的小说爬虫
- 在 Windows Azure 网站上使用 Django、Python 和 MySQL:创建博客应用程序
- 看着使用three.js制作的网站效果自己用css3写了一个小demo
- 在 Windows Azure 网站上使用 Django、Python 和 MySQL:创建博客应用程序
- ASP动态网站制作中使用MYSQL的分析
- 使用scrapy 0.24 制作的小说爬虫
- 使用Scrapy爬取一个网站的数据
- [置顶] 【实战】如何通过html+css+mysql+php来快速的制作动态网页(以制作一个博客网站为列)
- 使用Scrapy建立一个网站抓取器
- 在 Windows Azure 网站上使用 Django、Python 和 MySQL:创建博客应用程序
- 使用asp.net从零开始制作设计一个网站之一
- 使用国外一个标准的CSS+DIV制作了一个网站
- Django+mysql+阿里云制作一个简单的网页(配置)
- 使用 Fireworks 制作图标[硬盘篇]和原作者的一个[源文件]
- 制作演示的福音,推荐屏幕录制软件:Adobe Captivate 2,特意使用这个录制一个简单的录制使用过程,让大家有直观印象
- [2006-04-12]发现一个使用技术升级、下载灰鸽子的网站(第3版)