您的位置:首页 > 运维架构 > 网站架构

小说采集,采集笔趣阁小说网站(www.biquges.cc)

2019-06-03 08:15 573 查看
版权声明:本文为博主原创文章,遵循 CC 4.0 by-sa 版权协议,转载请附上原文出处链接和本声明。 本文链接:https://blog.csdn.net/shanying1991/article/details/90746421

小说采集一直是站主比较头大的一件事,接下来我将给大家分享用python采集笔趣阁小说站,可能会多写几篇,不足之处大家多多指教
目标站:www.biquges.cc

先采集小说资源链接
代码中是将所有采集到的链接存放到列表中,有需要的同学可以自己写sql语句存放到数据库中或者保存到txt文件中
#coding=utf-8
import requests
class GetList:
“”"
获取小说列表链接
“”"
def getlist(self,start_num,end_num):
lis=[]
for i in range(start_num,end_num):
url=“http://www.biquges.cc/b
url=url+str(i)
#获取网页状态吗,如果是200就添加到采集资源池中
status=requests.get(url).status_code
if status==200:
lis.append(url)
else:
continue

print(lis)

if name==“main”:
gl=GetList()
gl.getlist(start_num=1,end_num=3)

内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: