python爬取知乎话题:"日常穿jk制服是怎样一种体验?"下的所有图片
2019-01-26 11:39
405 查看
版权声明:引用请标示来处,谢谢。 https://blog.csdn.net/YiXiao1997/article/details/86655584
[code]''' 第一次尝试python爬取图片,请多指正 回答者的答案单独存放一个文件夹 ''' from urllib import request import math import requests import json import re import os def getPicture(): count = 0#记录照片总数 filcount = 0#文件夹个数 for i in range(math.ceil(569/20)):#569是自己看到的回答总数,还没有实现自动获取回答数 try: kv = {'user-agent': 'Mozillar/5.0'} #知乎返回json数据的url中的limit是每次获取多少行数据,offset是每次从哪一个问题开始加载 url = "https://www.zhihu.com/api/v4/questions/29814297/answers?include=data%5B%2A%5D.is_normal%2Cadmin_closed_comment%2Creward_info%2Cis_collapsed%2Cannotation_action%2Cannotation_detail%2Ccollapse_reason%2Cis_sticky%2Ccollapsed_by%2Csuggest_edit%2Ccomment_count%2Ccan_comment%2Ccontent%2Ceditable_content%2Cvoteup_count%2Creshipment_settings%2Ccomment_permission%2Ccreated_time%2Cupdated_time%2Creview_info%2Crelevant_info%2Cquestion%2Cexcerpt%2Crelationship.is_authorized%2Cis_author%2Cvoting%2Cis_thanked%2Cis_nothelp%2Cis_labeled%3Bdata%5B%2A%5D.mark_infos%5B%2A%5D.url%3Bdata%5B%2A%5D.author.follower_count%2Cbadge%5B%2A%5D.topics&limit=20&offset="+str(20*i)+"&platform=desktop&sort_by=default" r = requests.get(url, headers=kv) j = json.loads(r.text) for k in range(20): jpgurl=re.findall(r'data-original="(.*?)"', j["data"][k]["content"]) name = j["data"][k]["author"]["name"] ID = j["data"][k]["id"] question = j["data"][k]["question"]["title"] mkfile = os.mkdir("C:/Users/23504/Desktop/Python知乎数据/知乎话题:日常穿JK制服是一种怎样的体验?/" + str(filcount) + "-" + name) filcount = filcount+1 jpgcount = 0 #文件夹内照片序号,每次重新建立文件夹重新置零 for m in range(0,len(jpgurl),2): picture = request.urlopen(jpgurl[m]).read() with open("C:/Users/23504/Desktop/Python知乎数据/知乎话题:日常穿JK制服是一种怎样的体验?/" + str(filcount-1) + "-" + name + "/" + str(jpgcount)+"-"+str(count)+ ".jpg",'wb') as file: file.write(picture) print("正在下载第"+str(filcount)+"个回答--回答者昵称:"+name+"--回答者ID:"+str(ID)+"--"+"问题:"+question+"--第" + str(count) + "张图片下载完成") jpgcount = jpgcount + 1 count = count+1 except: print("url链接无效") if __name__ == "__main__": getPicture()
相关文章推荐
- [python](爬虫)如何使用正确的姿势欣赏知乎的“长得好看是怎样一种体验呢?”问答中的相片
- 高度自律是一种怎样的体验(一)(转自知乎)
- 【Python爬虫基础】抓取知乎页面所有图片
- python爬取知乎话题:"你见过最搞笑的视频有哪些?"下的所有视频
- python爬虫实战(一)--爬取知乎话题图片
- 【python爬虫】爬取知乎收藏夹内所有图片
- [Python 爬虫之路4] 使用selenium爬取知乎任意一个问题下,所有回答中的图片
- 2016年学习JavaScript是怎样的一种体验(转)
- python爬虫之赞同知乎用户所有答案以及给用户发私信
- 从奇虎360离职去创业型公司当CTO是一种怎样的体验?
- 用 AI 怼黑产是一种怎样的体验?
- Python读取文件夹下的所有图片并用waitKey控制退出
- “让前任后悔”是怎样一种体验?
- 通过Python爬虫爬取知乎某个问题下的图片
- 参加RoboMasters大学生机器人大赛是一种怎样的体验
- Python爬虫设置代理IP爬取知乎图片
- 从奇虎360离职去创业型公司当CTO是怎样一种体验? - 职场生涯
- 【陆勤阅读】参加kaggle数据挖掘竞赛是怎样一种体验?
- 一个字符解决Gradle aar编译参数传递问题是怎样一种体验
- 用typescript写react和node是怎样的一种体验