基于Jsoup的爬虫中ajax获取数据的方式(post)
2017-11-07 14:50
363 查看
以https://www.mynextmove.org/explore/ip为例,其中所有的操作都是用ajax的post方法获取数据
public String doPost(Map<String, String> createMap, String url)
{
HttpClientUtil httpClientUtil = new HttpClientUtil();
String httpOrgCreateTest = url;
String httpOrgCreateTestRtn = httpClientUtil.doPost(httpOrgCreateTest,createMap,charset);
//System.out.println("result:"+httpOrgCreateTestRtn);
return httpOrgCreateTestRtn;
}
调用的时候,需要传入一个包含请求信息的map(懂ajax的,传入的是data的内容)和要访问的url
public static void main(String[] args)
{
//其中score和i是循环出的东西,score是需要自己写一个计算的方法的,不另附,测试可以用030201000000代替,i的范围是1-5
Map<String,String> createMap = new HashMap<String,String>();
createMap.put("page","S6");
createMap.put("subpage","");
createMap.put("results","------------------------------------------------------------");
createMap.put("scores",score);
createMap.put("zone",i+"");
createMap.put("maxvisit","R1");
createMap.put("client","");
createMap.put("random","0");
createMap.put("accessible","0");
createMap.put("submit_page_R1.x","54");
createMap.put("submit_page_R1.y","16");
String result = holland.doPost(createMap, url);
}
P.S.返回的字符串可以是json格式,也可以是网页html
如果返回的是json格式,可以设置实体类与其对应,getset属性
public String doPost(Map<String, String> createMap, String url)
{
HttpClientUtil httpClientUtil = new HttpClientUtil();
String httpOrgCreateTest = url;
String httpOrgCreateTestRtn = httpClientUtil.doPost(httpOrgCreateTest,createMap,charset);
//System.out.println("result:"+httpOrgCreateTestRtn);
return httpOrgCreateTestRtn;
}
调用的时候,需要传入一个包含请求信息的map(懂ajax的,传入的是data的内容)和要访问的url
public static void main(String[] args)
{
//其中score和i是循环出的东西,score是需要自己写一个计算的方法的,不另附,测试可以用030201000000代替,i的范围是1-5
Map<String,String> createMap = new HashMap<String,String>();
createMap.put("page","S6");
createMap.put("subpage","");
createMap.put("results","------------------------------------------------------------");
createMap.put("scores",score);
createMap.put("zone",i+"");
createMap.put("maxvisit","R1");
createMap.put("client","");
createMap.put("random","0");
createMap.put("accessible","0");
createMap.put("submit_page_R1.x","54");
createMap.put("submit_page_R1.y","16");
String result = holland.doPost(createMap, url);
}
P.S.返回的字符串可以是json格式,也可以是网页html
如果返回的是json格式,可以设置实体类与其对应,getset属性
相关文章推荐
- 基于Jsoup的爬虫中ajax获取数据的方式(get)
- 基于$.ajax()方法从服务器获取json数据的几种方式总结
- [Jsoup] 模拟浏览器:post方式模拟登陆获取网页数据(二)
- JAVA 爬虫之httpclient post请求提交表单获取Ajax数据
- python2-爬虫-09.Ajax加载页方式的数据获取
- Nodejs express获取Ajax(post方式)发送的数据
- XML(php中获取xml文件的方式/ajax获取xml格式的响应数据的方式)
- IOS开发之Post 方式获取服务器数据
- Android中基于HTTP的通信技术(2)使用Http的Post方式读取网络数据
- (转)获取 request 中用POST方式"Content-type"是"application/x-www-form-urlencoded;charset=utf-8"发送的 json 数据
- Android HttpURLConnection(Get,Post方式)进行网络通信 获取数据和网络图片
- jquery用ajax方式从后台获取json数据后如何将内容填充到下拉列表
- AJAX POST请求中参数以form data和request payload形式在servlet中的获取方式
- ajax从后台获取数据,返回值为时间和字段太长的处理方式
- 当使用ajax 由前台像后台post 数组类型数据的一些问题(基于springboot)
- Java爬虫Jsoup+httpclient获取动态生成的数据
- 数据传送三种方式(post、get、ajax)
- AJAX POST请求中参数以form data和request payload形式在servlet中的获取方式
- ajax使用serialize()方法后,数据无法封装并获取(PUT提交方式!)
- AJAX如何以POST的方式提交JSON数据到Form