您的位置:首页 > 其它

04urllib解决分页问题

2019-06-05 16:03 107 查看
版权声明:本文为博主原创文章,遵循 CC 4.0 by-sa 版权协议,转载请附上原文出处链接和本声明。 本文链接:https://blog.csdn.net/weixin_45176077/article/details/90903925

以下代码解决的是分页读取写入数据

from urllib import request,parse
import os
"""
1.分页问题
2.文件操作(检测,建立,写入)
"""
def keyword(kw):
print(type(kw))
start = input('请输入开始页:')
end = input('请输入结束页:')
kw1 = {
'kw': kw
}
qs = parse.urlencode(kw1)
for i in range(int(start),int(end)+1):
pn = (i-1)*50
base_url = 'https://tieba.baidu.com/f?' + qs + '&pn='+str(pn)
print(base_url)
req = request.urlopen(base_url)
html = req.read()
if not os.path.exists(kw):
os.mkdir("04"+kw)
with open(kw+'/'+str(i)+'.html','w',encoding='utf-8') as f:
f.write(html.decode('utf-8'))
print(html.decode('utf-8'))

if __name__=='__main__':
keyword(input('请输入:'))
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: