python实现post请求
2017-02-08 17:08
253 查看
今天无论如何都要留下一些什么东西。。。
可以说今天学到一个新的一个东西,也需要分享出来,给更多的人去使用。
今天爬取的数据里面是客户端向服务器端发送加密过的token和一些页码之类的一个数据。(我主要是想通过翻页获取每一页的数据,该网页是通过post去获取的请求,所以需要带一堆的嵾数才会出来数据)。
pyload={"token": "2280d841c47074107bb903169cd78d4d0a1345970ec6380d0909efc7e77a25cb","sign":"700eae16811bd1844e21c31c3ed0f5b0","page":"3","order":"0","limit":"12","map":""}
headers={'Host': 'usedcar.auto.sina.com.cn',
'Connection': 'keep-alive',
'Content-Length': '186',
'Accept': 'application/json, text/javascript, */*; q=0.01',
'Origin': 'http://usedcar.auto.sina.com.cn',
'X-Requested-With': 'XMLHttpRequest',
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.102 UBrowser/6.0.1471.813 Safari/537.36',
'Content-Type': 'application/x-www-form-urlencoded; charset=UTF-8',
'Referer': 'http://usedcar.auto.sina.com.cn/buycar/s/%E8%AF%B7%E8%BE%93%E5%85%A5%E5%93%81%E7%89%8C%E6%88%96%E8%BD%A6%E5%9E%8B',
'Accept-Encoding': 'gzip, deflate',
'Accept-Language': 'zh-CN,zh;q=0.8',
}
d=requests.post(url,data=payload,headers=headers)
print(d)
然后服务器报错,但是一样的数据在filder里面却是对的,这是什么原因呢?
后来通过requests的官方文档发现,有这么一句话:
很多时候你想要发送的数据并非编码为表单形式的。如果你传递一个
通过抓包软件fillder去看看我在pycharm里面请求和在fillder里面请求的东西来看,最后返回来的数据的形式完全就是不一样了,所以对应正确的格式,我把其转换为string,得出结果和正确一样的,
可以正确返回的表单的值是这样子的:
{"token":"2280d841c47074107bb903169cd78d4d0a1345970ec6380d0909efc7e77a25cb","sign":"700eae16811bd1844e21c31c3ed0f5b0","page":"3","order":"0","limit":"12","map":""}
然后我的目的就是把那些参数化为输出为上面的数据那样子。
所以最后形式为以下那样子:
payload = '{"token":'+' "2280d841c47074107bb903169cd78d4d0a1345970ec6380d0909efc7e77a25cb"'+',"sign":'+'"700eae16811bd1844e21c31c3ed0f5b0"'+',"page":'+'"3"'+',"order":'+'"0"'+',"limit":'+'"12"'+',"map":'+'""'+'}'
接下来发现又是一个很尴尬的事情,服务器直接报错,504错误,开始还去找这是什么原因,后来在网上看到是这样子说的:
wireshark抓包发现:
用reqeusts和curl发送的数据都是一样的,但是,curl有带一个header:"Content-Type": "application/x-www-form-urlencoded"
看来requests也需要加上这个头:
headers = {"Content-Type": "application/x-www-form-urlencoded"}
最后我把我内容的headers换成以上headers,结果还真的是成功了。
虽然为什么是那个头,我还真的不知道是什么一个的原因 。后续知道会陆续去更新的。
马上看完文档发现一个问题,就马上来记下来,在新的版本的requests里面,除了对dict格式去编码以外,还可以使用json格式直接去传递,然后它就会被自动编码。这是 2.4.2 版的新加功能:
d=requests.post(url,json=data,headers=headers)
print d
print d.text
总结:这样子是不是很简单就可以去实现了呢,而不需要转换为string之类的呢,看来东西需要不断的去发现的 。
可以说今天学到一个新的一个东西,也需要分享出来,给更多的人去使用。
今天爬取的数据里面是客户端向服务器端发送加密过的token和一些页码之类的一个数据。(我主要是想通过翻页获取每一页的数据,该网页是通过post去获取的请求,所以需要带一堆的嵾数才会出来数据)。
pyload={"token": "2280d841c47074107bb903169cd78d4d0a1345970ec6380d0909efc7e77a25cb","sign":"700eae16811bd1844e21c31c3ed0f5b0","page":"3","order":"0","limit":"12","map":""}
headers={'Host': 'usedcar.auto.sina.com.cn',
'Connection': 'keep-alive',
'Content-Length': '186',
'Accept': 'application/json, text/javascript, */*; q=0.01',
'Origin': 'http://usedcar.auto.sina.com.cn',
'X-Requested-With': 'XMLHttpRequest',
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.102 UBrowser/6.0.1471.813 Safari/537.36',
'Content-Type': 'application/x-www-form-urlencoded; charset=UTF-8',
'Referer': 'http://usedcar.auto.sina.com.cn/buycar/s/%E8%AF%B7%E8%BE%93%E5%85%A5%E5%93%81%E7%89%8C%E6%88%96%E8%BD%A6%E5%9E%8B',
'Accept-Encoding': 'gzip, deflate',
'Accept-Language': 'zh-CN,zh;q=0.8',
}
d=requests.post(url,data=payload,headers=headers)
print(d)
然后服务器报错,但是一样的数据在filder里面却是对的,这是什么原因呢?
后来通过requests的官方文档发现,有这么一句话:
很多时候你想要发送的数据并非编码为表单形式的。如果你传递一个
string而不是一个
dict,那么数据会被直接发布出去。
通过抓包软件fillder去看看我在pycharm里面请求和在fillder里面请求的东西来看,最后返回来的数据的形式完全就是不一样了,所以对应正确的格式,我把其转换为string,得出结果和正确一样的,
可以正确返回的表单的值是这样子的:
{"token":"2280d841c47074107bb903169cd78d4d0a1345970ec6380d0909efc7e77a25cb","sign":"700eae16811bd1844e21c31c3ed0f5b0","page":"3","order":"0","limit":"12","map":""}
然后我的目的就是把那些参数化为输出为上面的数据那样子。
所以最后形式为以下那样子:
payload = '{"token":'+' "2280d841c47074107bb903169cd78d4d0a1345970ec6380d0909efc7e77a25cb"'+',"sign":'+'"700eae16811bd1844e21c31c3ed0f5b0"'+',"page":'+'"3"'+',"order":'+'"0"'+',"limit":'+'"12"'+',"map":'+'""'+'}'
接下来发现又是一个很尴尬的事情,服务器直接报错,504错误,开始还去找这是什么原因,后来在网上看到是这样子说的:
wireshark抓包发现:
用reqeusts和curl发送的数据都是一样的,但是,curl有带一个header:"Content-Type": "application/x-www-form-urlencoded"
看来requests也需要加上这个头:
headers = {"Content-Type": "application/x-www-form-urlencoded"}
最后我把我内容的headers换成以上headers,结果还真的是成功了。
虽然为什么是那个头,我还真的不知道是什么一个的原因 。后续知道会陆续去更新的。
马上看完文档发现一个问题,就马上来记下来,在新的版本的requests里面,除了对dict格式去编码以外,还可以使用json格式直接去传递,然后它就会被自动编码。这是 2.4.2 版的新加功能:
d=requests.post(url,json=data,headers=headers)
print d
print d.text
总结:这样子是不是很简单就可以去实现了呢,而不需要转换为string之类的呢,看来东西需要不断的去发现的 。
相关文章推荐
- django 实现web接口 python3模拟Post请求
- 在python种实现类的静态方法
- python实现的AES双向对称加密解密与用法分析
- 发布一个用Python实现的“法语动词变位工具”
- ·python·用生成器和迭代器实现自己的xrange
- 用Python实现ORM
- 用Python实现语音合成
- 发布一个用Python实现的“法语动词变位工具”
- python中实现Single模式
- Python实现的在线保持
- 用Python实现数据库编程
- 用Python实现GB与BIG5码的转换
- IronPython0.9.4发布了 —— 实现静态编译并提供官方Tutorial
- Python使用Com组件及Access查询分析类实现
- Python实现ASP+ACCESS注入,不用SOCKET
- [python]如何清屏?也就是实现clear?
- C#下的webservcie 实现代码和 在vc和python下的调用实现(原创)
- [转载]Python实现ASP+ACCESS注入的工具源代码
- [Python]Python中实现一个时间(日期)型加几个月的运算
- 用Python实现去掉文章中特定的段落