python爬虫 基于requests模块发起ajax的get请求实现解析
2019-08-20 08:59
1551 查看
基于requests模块发起ajax的get请求
需求:爬取豆瓣电影分类排行榜 https://movie.douban.com/中的电影详情数据
用抓包工具捉取 使用ajax加载页面的请求
鼠标往下下滚轮拖动页面,会加载更多的电影信息,这个局部刷新是当前页面发起的ajax请求,
用抓包工具捉取页面刷新的ajax的get请求,捉取滚轮在最底部时候发起的请求
这个get请求是本次发起的请求的url
ajax的get请求携带参数
获取响应内容不再是页面数据,是json字符串,是通过异步请求获取的电影详情信息
start和limit参数 需要注意,改变这两个参数获取的电影详情不一样
import requests import json # 指定ajax-get请求的url(通过抓包进行获取) url = 'https://movie.douban.com/j/chart/top_list?' # 封装ajax的get请求携带的参数(从抓包工具中获取) 封装到字典 param = { 'type': '13', 'interval_id': '100:90', 'action': '', 'start': '20', # 从第20个电影开始获取详情 'limit': '20', # 获取多少个电影详情 # 改变这两个参数获取的电影详情不一样 } # 定制请求头信息,相关的头信息必须封装在字典结构中 headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.181 Safari/537.36', } # 发起ajax的get请求还是用get方法 response = requests.get(url=url,params=param,headers=headers) # 获取响应内容:响应内容为json字符串 data = response.text data = json.loads(data) for data_dict in data: print(data_dict["rank"],data_dict["title"]) ''' 芙蓉镇 沉静如海 淘金记 马戏团 情迷意乱 士兵之歌 战争与和平 怦然心动 大话西游之月光宝盒 罗马假日 音乐之声 一一 雨中曲 我爱你 莫娣 卡比利亚之夜 婚姻生活 本杰明・巴顿奇事 情书 春光乍泄 '''
从21个电影开始获取信息,总共获取20个电影详情信息
以上就是本文的全部内容,希望对大家的学习有所帮助
您可能感兴趣的文章:
相关文章推荐
- python爬虫 基于requests模块的get请求实现详解
- Python基于分析Ajax请求实现抓取今日头条街拍图集功能示例
- python+requests实现接口测试 - get与post请求使用( params
- Python3实现爬虫爬取赶集网列表功能【基于request和BeautifulSoup模块】
- python+requests实现接口测试 - get与post请求使用
- Python爬虫之个人笔记(二):requests模块应用,发送get/post请求,获取响应
- python爬虫︱百度百科的requests请求、百度URL格式、网页保存、爬虫模块
- Python基于BeautifulSoup和requests实现的爬虫功能示例
- Python爬虫实例——基于BeautifulSoup和requests实现
- 第三百五十节,Python分布式爬虫打造搜索引擎Scrapy精讲—selenium模块是一个python操作浏览器软件的一个模块,可以实现js动态网页请求
- 使用requests+beautifulsoup模块实现python网络爬虫功能
- python3 --- 基于requests + beautifulsoup 实现爬虫项目
- python爬虫----urllib、requests、re、os模块实现爬取图片
- Ajax用法详细解析, 实现异步更新页面, 以及'post'和'get'请求属性介绍
- python 使用requests 实现 post 和get请求
- python用httplib模块发送get和post请求
- python用httplib模块发送get和post请求
- Python实现基于协程的异步爬虫
- 使用$.getJSON实现跨域ajax请求示例代码
- 夺命雷公狗jquery---55---Ajax的高级实现,模拟发送get请求