小说采集,采集笔趣阁小说网站(www.biquges.cc)
2019-06-03 08:15
573 查看
版权声明:本文为博主原创文章,遵循 CC 4.0 by-sa 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/shanying1991/article/details/90746421
小说采集一直是站主比较头大的一件事,接下来我将给大家分享用python采集笔趣阁小说站,可能会多写几篇,不足之处大家多多指教
目标站:www.biquges.cc
先采集小说资源链接
代码中是将所有采集到的链接存放到列表中,有需要的同学可以自己写sql语句存放到数据库中或者保存到txt文件中
#coding=utf-8
import requests
class GetList:
“”"
获取小说列表链接
“”"
def getlist(self,start_num,end_num):
lis=[]
for i in range(start_num,end_num):
url=“http://www.biquges.cc/b”
url=url+str(i)
#获取网页状态吗,如果是200就添加到采集资源池中
status=requests.get(url).status_code
if status==200:
lis.append(url)
else:
continue
print(lis)
if name==“main”:
gl=GetList()
gl.getlist(start_num=1,end_num=3)
相关文章推荐
- java 数据采集,采集各个网站的小说文章示例
- 一个很好的编程学习网站(电子书,教程,经验分享等等):http://www.ccrun.com/index.asp
- 关于python爬取笔趣阁网站上面完美世界小说
- Python脚本抓取采集小说网站
- 采集笔趣阁小说详情页内容
- 给大家推荐一个免费的论文查重网站PaperTime:http://www.papertime.cc
- 开心油条(www.kxyt.cc),我的创业网站
- 【web实战2】基于源码搭建小说自动采集网站
- C#实现对网站数据的采集和抓取
- python网络数据采集学习范例—利用CSS爬取网站特定标签,BeautifulSoup函数介绍及子标签
- python 爬取笔趣阁小说(TK可视化)
- 【转载】不带www跳转www.设定网站唯一入口,提升权重!
- 一个不错的Silverlight展示网站反编译后的源码和大家分享一下(http://www.microsoft.com/taiwan/student/Good.htm),很简单的
- php模拟post提交数据,用处很多,可用来网站的采集,登陆等等
- 使用python3.6爬取笔趣阁的小说
- [www.infoshare.cc]Appium环境配置-Mac
- 全球最大的ppt分享网站 www.slideshare.net
- 使用phpquery采集小说
- yispider 开源小说采集器 (来源http://git.oschina.net/yispider/yispider 我的修改版因为他的我无法跑)