Python3 获取ajax 返回内容
2018-03-29 18:35
423 查看
使用工具:浏览器chrome(或者firefox);python3
什么样的页面是使用了ajax技术?留给你回答..
打开豆瓣页面,按F12,选择network--->XHR (XMLHttpRequest )进行筛选。因为ajax就是async javascript and xml缩写,既通过原生的XHR对象发出HTTP请求,得到服务器返回的数据后,再进行处理。
http请求内容主要包括:request URL,request menthod,request header,response header,parpameter。
其中method有post和get两种方法。区别就是get,那么request url就是这个链接的返回值,使用json格式输出;如果是post,则request url返回一般是空,ajax需要根据from data判断后才返回信息。
这里详细说下python模拟post方法的获取response:
需要的参数包括:request url,parameter (from data)
伪代码如下:
import requests
from lxml.etree import fromstring
import json
API_url='http://www.xxxxxxxxxxxxxx_ajax.htm' ##可能url并不会包含ajax关键字
def get_stores_info(self,page):
data={'pages':page} ##需要尝试,可能有些参数是冗余的
response=requests.post(self.API_url,data=data)
return response.json()
##定义function 执行并调用:
def run(self):
page=100
for commodityid in range(page):
data=self.get_stores_info(page)
print(data)
##
什么样的页面是使用了ajax技术?留给你回答..
打开豆瓣页面,按F12,选择network--->XHR (XMLHttpRequest )进行筛选。因为ajax就是async javascript and xml缩写,既通过原生的XHR对象发出HTTP请求,得到服务器返回的数据后,再进行处理。
http请求内容主要包括:request URL,request menthod,request header,response header,parpameter。
其中method有post和get两种方法。区别就是get,那么request url就是这个链接的返回值,使用json格式输出;如果是post,则request url返回一般是空,ajax需要根据from data判断后才返回信息。
这里详细说下python模拟post方法的获取response:
需要的参数包括:request url,parameter (from data)
伪代码如下:
import requests
from lxml.etree import fromstring
import json
API_url='http://www.xxxxxxxxxxxxxx_ajax.htm' ##可能url并不会包含ajax关键字
def get_stores_info(self,page):
data={'pages':page} ##需要尝试,可能有些参数是冗余的
response=requests.post(self.API_url,data=data)
return response.json()
##定义function 执行并调用:
def run(self):
page=100
for commodityid in range(page):
data=self.get_stores_info(page)
print(data)
##
相关文章推荐
- ajax获取返回的json内容进行排序
- laravel5.4通过ajax提交表单获取到422返回,ajax无法捕获返回内容
- python---get请求https的页面,并获取html返回的内容信息
- python3爬取豆瓣电影Ajax(获取动态内容)
- python 调用系统命令 获取返回内容
- python查询功能,查询文件内容,获取需要的部分并返回,很实用的
- ajax上传excel后读出内容并无刷新返回页面
- ashx获取另一个页面的返回内容
- 修改返回token内容与手工获取token
- Ajax获取php返回json数据动态生成select下拉框的实例
- ajax获取数据,应该返回json用js拼接 还是在后台拼接HTML完再返回
- ajax简单html页面内容获取
- Python 获取目录下的文件列表与内容
- AJAX通过get提交数据,并获取文本返回结果
- Python获取Redis所有Key以及内容
- 采用ajax请求返回得到json数据,但是获取具体项却为undefined
- javascript调用ajax页面返回指定内容
- Python小程序:获取文本文件的所有内容
- 利用Asp.net Ajax异步获取xml文档内容
- python获取shell命令返回值