python基础编程:python爬虫 urllib模块发起post请求过程解析
这篇文章主要介绍了python爬虫 urllib模块发起post请求过程解析,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
urllib模块发起的POST请求
案例:爬取百度翻译的翻译结果
1.通过浏览器捉包工具,找到POST请求的url
针对ajax页面请求的所对应url获取,需要用到浏览器的捉包工具。查看百度翻译针对某个字条发送ajax请求,所对应的url
点击clear按钮可以把抓包工具,所抓到请求清空
然后填上翻译字条发送ajax请求,红色框住的都是发送的ajax请求
抓包工具All按钮代表 显示抓到的所有请求 ,包括GET、POST请求 、基于ajax的POST请求
XHR代表 只显示抓到的基于ajax的POST请求
哪个才是我们所要的基于ajax的POST请求,这个POST请求是携带翻译字条的苹果请求参数
再看看这个POST请求 对应的请求URL ,这个URL是我们要请求的URL
发起POST请求之前,要处理POST请求携带的参数 3步流程:
一、将POST请求封装到字典
二、使用parse模块中的urlencode(返回值类型是字符串类型)进行编码处理
三、将步骤二的编码结果转换成byte类型
import urllib.request import urllib.parse # 1.指定url url = 'https://fanyi.baidu.com/sug' # 发起POST请求之前,要处理POST请求携带的参数 流程: # 一、将POST请求封装到字典 data = { # 将POST请求所有携带参数放到字典中 'kw':'苹果', } # 二、使用parse模块中的urlencode(返回值类型是字符串类型)进行编码处理 data = urllib.parse.urlencode(data) # 三、将步骤二的编码结果转换成byte类型 data = data.encode() '''2. 发起POST请求:urlopen函数的data参数表示的就是经过处理之后的 POST请求携带的参数 ''' response = urllib.request.urlopen(url=url,data=data) data = response.read() print(data)
把拿到的翻译结果 去json在线格式校验(在线JSON校验格式化工具(Be JSON)),
点击格式化校验和unicode转中文
内容就以上怎么多,最后给大家推荐一个口碑不错的公众号【程序员学府】,这里有很多的老前辈学习技巧,学习心得,面试技巧,职场经历等分享,更为大家精心准备了零基础入门资料,实战项目资料,每天都有程序员定时讲解Python技术,分享一些学习的方法和需要留意的小细节,关注以下的公众号
- 点赞
- 收藏
- 分享
- 文章举报
- python爬虫 urllib模块发起post请求过程解析
- python爬虫 urllib模块发起post请求过程解析
- python爬虫 基于requests模块发起ajax的get请求实现解析
- Python 爬虫之数据解析模块lxml基础(附:xpath和解析器介绍)
- Python 爬虫基础 - Urllib 模块(1)
- 运维学python之爬虫基础篇(三)urllib模块高级用法
- python爬虫(五)_urllib2:Get请求和Post请求
- Python 爬虫基础 - Urllib 模块(1)
- Python基础知识——urllib模块在爬虫中的应用
- Python 爬虫之数据解析模块bs4基础
- Python爬虫之个人笔记(二):requests模块应用,发送get/post请求,获取响应
- python urllib2 发起http请求post
- 运维学python之爬虫基础篇(二)urllib模块使用
- urllib通过Post请求爬去数据并解析JSON(Python)
- python基础编程:python使用scrapy发送post请求的坑
- Python:HTTP请求模块(httplib/urllib,GET/POST,php),Web服务器模块
- Python3爬虫之urllib爬取异步Ajax数据,使用post请求!
- python 爬虫入门(2) 爬虫基础知识 ; urllib 模块 ;urllib2 模块
- python爬虫主要就是五个模块:爬虫启动入口模块,URL管理器存放已经爬虫的URL和待爬虫URL列表,html下载器,html解析器,html输出器 同时可以掌握到urllib2的使用、bs4(BeautifulSoup)页面解析器、re正则表达式、urlparse、python基础知识回顾(set集合操作)等相关内容。
- 初学Python----urllib2模块与正则表达式组合而成的小爬虫