04urllib解决分页问题
2019-06-05 16:03
107 查看
版权声明:本文为博主原创文章,遵循 CC 4.0 by-sa 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/weixin_45176077/article/details/90903925
以下代码解决的是分页读取写入数据
from urllib import request,parse import os """ 1.分页问题 2.文件操作(检测,建立,写入) """ def keyword(kw): print(type(kw)) start = input('请输入开始页:') end = input('请输入结束页:') kw1 = { 'kw': kw } qs = parse.urlencode(kw1) for i in range(int(start),int(end)+1): pn = (i-1)*50 base_url = 'https://tieba.baidu.com/f?' + qs + '&pn='+str(pn) print(base_url) req = request.urlopen(base_url) html = req.read() if not os.path.exists(kw): os.mkdir("04"+kw) with open(kw+'/'+str(i)+'.html','w',encoding='utf-8') as f: f.write(html.decode('utf-8')) print(html.decode('utf-8')) if __name__=='__main__': keyword(input('请输入:'))
相关文章推荐
- 解决分页“奇怪”问题
- 如何解决oracle分页查询数据重复问题
- 详解angular分页插件tm.pagination二次触发问题解决方案
- 黄聪:wkhtmltopdf解决分页问题
- 如何解决InfoPath的分页问题
- Oracle分页查询中排序与效率问题解决方法详解
- 教您如何解决oracle分页查询数据重复问题
- hibernate一对多关联查询去重 criteria设置 解决分页条数不正确的问题
- java海量数据导出xls分页解决报内存溢出问题
- 解决Android上的QPython不能import urllib的问题
- MySQL之分页问题解决
- 在线医疗平台开发实战04-AutoMapper使用及无法引用问题解决
- 解决Ext中PagingToolBar的条件分页问题
- 解决FlexPaper分页分段加载问题
- 如何解决urllib.request找不到问题
- python3 urllib 爬虫乱码问题解决
- 解决HIbernate分页问题获取表总行数的小Bug
- python3关于urllib中urlopen报错问题的解决
- PHP CMS采集分页文章时相对路径问题解决方案
- CI的URL传递UTF-8中文编码问题解决方案及分页Demo