python爬去内涵段子(json文件处理)
2018-03-15 22:04
465 查看
import requests import time url = "http://neihanshequ.com/joke/?is_json=1&app_name=neihanshequ_web&max_time=1521106836" headers = {"Accept" :"application/json, text/javascript, */*; q=0.01", "Accept-Encoding":"gzip, deflate", "Accept-Language":"zh-CN,zh;q=0.9", "Cache-Control":"no-cache", "Connection":"keep-alive", "Cookie":'csrftoken=39d061a82943a131cbd937c4055726a9; tt_webid=6532073659451803139; uuid="w:d8f38aaaa8eb4c419b86571d6e8fd0a4"; _ga=GA1.2.884661281.1520866917; _gid=GA1.2.322191654.1521025498', "Host":"neihanshequ.com", "Pragma":"no-cache", "Referer":"http://neihanshequ.com/", "User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.186 Safari/537.36", "X-CSRFToken":"39d061a82943a131cbd937c4055726a9", "X-Requested-With":"XMLHttpRequest" } response = requests.get(url, headers=headers) timestamp = response.json()["data"]["max_time"] print(timestamp) while type(timestamp)== float or type(timestamp)== int: time.sleep(3) response = requests.get(url, headers=headers) timestamp = response.json()["data"]["max_time"] with open('C:\\Users\\wwxy\\Desktop\\内涵段子\\data.txt','a',encoding='utf-8') as f: for i in range(len(response.json()["data"]["data"])): data = response.json()["data"]["data"][i]["group"]["content"] f.write(data + "\n") f.write("\n") url = "http://neihanshequ.com/joke/?is_json=1&app_name=neihanshequ_web&max_time=" + str(timestamp) print("已完成一次爬取",timestamp)
相关文章推荐
- Python进阶 -- 4. 处理json文件
- Python Flask之处理客户端通过POST方法传送的数据(json文本,文件)
- 《Python 编程快速上手 — 让繁琐工作自动化》读书笔记之【第14章 处理CSV文件和JSON数据】
- python3处理json文件中含有中文dumps的应用
- 使用Python对json文件进行处理
- Python处理json格式的数据文件(一些坑、一些疑惑)
- Python遍历文件夹 处理json文件
- 【Python】Python处理Json文件
- python中json文件处理涉及的四个函数json.dumps()和json.loads()、json.dump()和json.load()的区分
- Python处理JSON格式的文件(十三)
- python处理json格式的文件
- 13.14Python基础拾遗(14):JSON文件的读写
- javabean对象和json对象互相转换及行读取文件处理
- python输出json时中文处理问题
- Python学习入门基础教程(learning Python)--5.7 Python文件数据记录存储与处理
- 使用Python处理声音文件(五):绘制立体声音乐左右声道频谱
- Python程序接入Json文件(二)
- python 处理 xml 文件 (修改 xml 中的值并保存)
- Python中Json对象处理的jsonpath-rw
- Python 处理文件例程